6.7.1 Kwaliteitscriteria

Het criterium van de interne validiteit heeft volgens Boeije betrekking op het gebruik van correcte metingen: in hoeverre meten de gebruikte onderzoeksmethoden wat zij beogen te meten?1 In het onderhavige onderzoek zijn observaties van voorgeleidingen en raadkamerzittingen en interviews met professionele actoren gebruikt als methoden om de voorlopige hechtenispraktijk van minderjarigen – en meer specifiek het rechterlijke besluitvormingsproces – in kaart te brengen. Hoewel directe observaties en interviews hiervoor in beginsel geschikte methoden kunnen zijn (zie par. 1.6.3), kan een aantal factoren de interne validiteit negatief beïnvloeden. Hierbij kan worden gedacht aan het hierboven beschreven mogelijke ‘reactieve gedrag’ van de geobserveerde onderzoekssubjecten en de inherente beperkingen van ‘waarnemen’ als onderzoeksmethode, alsook aan de mogelijke kloof tussen wat respondenten tijdens een interview zeggen dat zij doen en wat zij daadwerkelijk doen, waaronder ook het risico op ‘sociaal wenselijke’ antwoorden kan worden begrepen. Hier staat tegenover dat er verschillende strategieën zijn gehanteerd om de interne validiteit van het onderzoek te versterken, zoals triangulatie en ‘member validation’ (zie par. 6.7.2).

Maesschalck hanteert een engere definitie van interne validiteit en koppelt dit criterium expliciet aan de “geloofwaardigheid van causale proposities (‘X is een oorzaak van Y’)”, hetgeen volgens hem neerkomt op de mate waarin causale claims daadwerkelijk worden ondersteund door empirische data.2 Het onderhavige onderzoek is primair exploratief en beschrijvend van aard, maar heeft ook de ambitie om (mogelijke) verklaringen te vinden voor de wijze waarop rechters en andere professionele actoren omgaan met de voorlopige hechtenis van minderjarigen.3 Deze verklarende ambities zijn evenwel niet gelijk te stellen met causale claims die in kwantitatief onderzoek worden gedaan op basis van statistisch significante verbanden.4 Een zekere terughoudendheid met het doen van causale claims op basis van kwalitatief onderzoek is op zijn plaats.5 Wel kan de geloofwaardigheid van verklaringen volgens Maesschalck worden versterkt door onder meer triangulatie en ‘member validation’.6

Het criterium van de externe validiteit heeft betrekking op de mate waarin de onderzoeksbevindingen en de daaruit voortvloeiende claims kunnen worden gegeneraliseerd.7 In kwantitatief onderzoek wordt er, waar mogelijk, naar gestreefd om een aselecte steekproef te trekken die representatief is voor een bredere populatie, waardoor extrapolatie van steekproef naar deze bredere populatie mogelijk is.8 In kwalitatief onderzoek is een dergelijke vorm van ‘statistische generalisatie’ daarentegen doorgaans niet mogelijk.9 Dit geldt ook voor het onderhavige onderzoek: noch de selectie van rechtbanken en de geobserveerde zittingen, noch de selectie van respondenten voor de interviews is representatief voor de gehele voorlopige hechtenispraktijk van minderjarigen in Nederland. Door onderzoekers zijn evenwel alternatieve strategieën ontwikkeld om de generaliseerbaarheid van kwalitatieve onderzoeksbevindingen te versterken, waaronder ‘variation-based generalization’.10 De gedachte achter dit type generalisatie is dat door middel van ‘purposeful sampling’ een zo gevarieerd mogelijke selectie van onderzoeksobjecten c.q. -subjecten wordt gemaakt waarmee de variatie binnen de bredere populatie zoveel mogelijk wordt gedekt. Doordat het gevarieerde sample de variatie in de bredere praktijk weerspiegelt, versterkt dit de generaliseerbaarheid en dus de externe validiteit van de onderzoeksbevindingen.11 In het onderhavige onderzoek is getracht tot een gevarieerde sample van rechtbanken te komen, waarin vijf verschillende ‘typen’ rechtbanken – qua geografische ligging, grootte en interne organisatie – zijn vertegenwoordigd om binnen de grenzen van de selectie een zo breed mogelijk beeld te krijgen van de voorlopige hechtenispraktijk van minderjarigen in Nederland (zie par. 6.3). Niettemin is, mede vanwege het beperkte aantal observaties en interviews en de mogelijkheid dat toepassingspraktijken van voorlopige hechtenis per arrondissement (en zelfs per individuele rechter) verschillen, enige terughoudendheid met het generaliseren van de onderzoeksbevindingen op zijn plaats.

Het criterium van de interne betrouwbaarheid verwijst naar de mate waarin andere onderzoekers op basis van dezelfde data tot dezelfde bevindingen en conclusies zouden komen.12 Dit heeft betrekking op de vraag in hoeverre de bevindingen en conclusies die op basis van de data worden getrokken de subjectieve interpretatie van de onderzoeker overstijgen en er waarborgen zijn ingebouwd tegen vooringenomenheid van de onderzoeker (‘bias’) in de interpretatie van de data.13 Een complexe factor in dit verband is dat de persoon van de onderzoeker in kwalitatief onderzoek in wezen zelf een ‘onderzoeksinstrument’ is en dus per definitie invloed heeft op de interpretatie van de data en de daaruit voortvloeiende bevindingen en conclusies.14 Een strategie om de interne betrouwbaarheid te versterken is evenwel om meerdere onderzoekers te betrekken bij de dataverzameling en data-analyse.15 Het onderhavige promotieonderzoek betreft echter een individueel project. Wel hebben de twee bij dit onderzoeksproject betrokken promotoren herhaaldelijk feedback gegeven op de bevindingen en conclusies van het empirische onderzoek (‘peer debriefing’), hetgeen de interne betrouwbaarheid versterkt.16

Tot slot houdt het criterium van de externe betrouwbaarheid verband met reproduceerbaarheid van het onderzoek: zouden andere onderzoekers die het onderzoek herhalen op basis van nieuwe data tot dezelfde conclusies komen? Dit is volgens Maesschalck een belangrijke (hypothetische) check om de consistentie van de metingen over de tijd en over verschillende onderzoekers heen te controleren.17 De consistentie tussen de metingen over de tijd wordt in het onderhavige onderzoek enigszins gewaarborgd doordat de observaties zijn verricht aan de hand van (semi-)gestructureerde observatieformulieren en doordat vaste topiclijsten en vignetten zijn gebruikt voor de interviews, hetgeen volgens Boeije de betrouwbaarheid vergroot.18 In de literatuur wordt echter gesteld dat reproduceerbaarheid inherent problematisch is bij kwalitatief onderzoek, omdat – anders dan bij bijvoorbeeld experimenteel onderzoek – exacte nabootsing van het onderzoek welhaast onmogelijk zal zijn.19 Dit geldt ook voor het onderhavige onderzoek: iedere voorgeleiding of raadkamerzitting die is geobserveerd en ieder interview dat is afgenomen is immers uniek en kan niet exact worden herhaald.20 Tegelijkertijd blijkt dat veel bevindingen van het onderhavige onderzoek steun vinden in eerder onderzoek – waaronder ook onderzoek naar de voorlopige hechtenispraktijk in commune strafzaken – hetgeen indiceert dat ook andere onderzoekers op basis van eigen data tot soortgelijke bevindingen komen.