5.2.6 Kwaliteitsvalkuilen en -waarborgen

Aan het gehanteerde onderzoeksdesign en de praktische uitvoering van de interviews kleven enkele gevaren voor de mate waarin met de verkregen interviewdata de onderzoeksvragen beantwoord kunnen worden. Sommige van die valkuilen kunnen (deels) gedicht worden; met de valkuilen waarbij dat niet kan, moet bij het lezen van de conclusies rekening gehouden worden.

Zoals vermeld betreft het hier een verkennende studie, zonder vooraf opgestelde hypotheses en met een relatief klein aantal respondenten die op één moment worden geïnterviewd. De kans op toevalsfouten is dus aanwezig, bijvoorbeeld omdat een respondent net die ochtend een zaak met veel ergernis heeft meegemaakt en daarom een hoge frequentie van verstorend gedrag rapporteert. Dit betrouwbaarheidsrisico is echter inherent aan dit soort onderzoek en het wordt deels ondervangen door de uitgebreide motivering van de antwoorden die aan rechters is gevraagd - waarbij veel antwoorden en motiveringen overeenkwamen en dus elkaar bevestigden - en deels door de waarborg dat het onderzoek in principe herhaald kan worden.1 Door het vrijgeven van de topic list in Bijlage II en de beschrijving van de selectie van rechters is het onderzoek repliceerbaar.2

Naast betrouwbaarheid is ook de validiteit van belang: zijn er geen systematische fouten die het onderzoek beïnvloed hebben?3 Een eerste valkuil is die van het sociaal wenselijk antwoorden. De rechters waren steeds vanaf de ontvangst aardig, open en veelal geïnteresseerd in mijn onderzoek. In sommige interviews merkte ik dat rechters het vervelend vonden om bijvoorbeeld te zeggen dat verstorend procesgedrag nauwelijks voorkomt, omdat ze dachten dat ik op zo' n antwoord niet zat te wachten. Ook bij het commentaar op mijn werkdefinitie (§ 5.3.1.2) speelde mijn aanwezigheid in persoon misschien mee. Los van mijn persoon was er ook een ander gevaar qua sociaal wenselijk antwoorden dat meer aan de inhoud gerelateerd was: voor rechters is het prettiger en ' rechtsstatelijker' om te zeggen dat ze omwille van rechtszekerheid terughoudend zijn met kosten-sancties, dan dat het omwille van de werkdruk of vanwege desinteresse met betrekking tot proceskosten is.4 Dit gevaar is deels ondervangen met de waarborg van anonimiteit en de mededeling dat rechters het geheim van de raadkamer dienden te respecteren.5 In hoeverre sociaal wenselijk antwoorden uiteindelijk heeft meegespeeld is natuurlijk niet duidelijk, maar bij het lezen van de conclusies dient men hierop wel alert te zijn.

Ten slotte is er sprake van beperkte generaliseerbaarheid: de mate waarin de steekproef iets zegt over alle Nederlandse civiele rechters. Dat komt niet alleen door het kleine aantal respondenten en onderzochte instanties (tussen instanties kunnen verschillen bestaan), maar ook door de wijze waarop de rechters door hun sectorvoorzitters zijn geselecteerd, zoals eerder al is vermeld. Anderzijds was er bij deze 18 rechters al veel overlap te zien in de antwoorden en zijn op elk punt in totaal veel argumenten gegeven, dus vermoedelijk zouden meer interviews niet veel nieuwe punten meer opleveren. Alleen over de frequenties zou waarschijnlijk wel meer informatie vrijkomen. Omdat de generaliseerbaarheid beperkt is, wordt in dit hoofdstuk spaarzaam omgegaan met percentages (' 63% van de rechters zegt dat...'). Voor zover kwantitatief georiënteerde termen als 'meerderheid', 'vooral', ' slechts twee keer genoemd' en ' top 3' worden gehanteerd, wordt daarmee gedoeld op de getalsverhoudingen binnen de groep van respondenten; deze verhoudingen kunnen niet zonder meer worden geëxtrapoleerd naar de gehele populatie van alle civiele rechters.

De genoemde valkuilen doen weinig af aan de algemene geldigheid van de onderzoeksresultaten, maar wijzen vooral op de beperkte generaliseerbaarheid en enkele mogelijke vertekeningen van het beeld vanwege sociaal wenselijk antwoorden. Het doel van de studie om een verkennend beeld te krijgen van de ervaringen, motieven en wensen van rechters, dat naast de bestaande juridische literatuur kan worden gelegd, wordt goed bereikt door de grondige uitleg en vele sprekende voorbeelden die de respondenten gegeven hebben, waarbij bovendien vaak dezelfde punten naar boven kwamen.