Regeling omzetting scores in cijfers VO
Bijlage 1 Wijze van omzetting van scores in cijfers bij centrale examens VO als bedoeld in artikel 1
Geldend
De instructies die het CvTE toepast om tot de N-termen te komen.
1. Uitgangspunt
De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij eenzelfde centraal examen (vak en schooltype/leerweg) dezelfde eisen worden gesteld. Omdat het technisch onmogelijk is onze examens van jaar op jaar precies even moeilijk te maken, zorgt de keuze van de normeringsterm (N-term) daarvoor. Het proces van normering is erop gericht, gegeven dit uitgangspunt, de juiste N-term te bepalen.
In supplement I staan de formules die bij de omzetting van score naar cijfer worden gehanteerd.
Voor ieder centraal examen stelt het College voor toetsen en examens (CvTE), zodra dat mogelijk is, referentiegegevens vast; een referentie-examen met een referentie-N-term en een referentiepopulatie met een referentie-gemiddeld cijfer en referentie-percentage onvoldoende.
- –
Het referentie-examen met de referentie-N-term vormt, in combinatie met de inhoud van de syllabus, de prestatie-eis op het centraal examen.Bij een nieuw examen zou het, bij gelijke vaardigheid, even moeilijk moeten zijn om hetzelfde cijfer te halen als op het referentie-examen. Het CvTE monitort of handhaven van de prestatie-eis op een centraal examen reëel en mogelijk is en stelt deze zo nodig bij.
- –
De referentiepopulatie is de groep examenkandidaten uit één of meerdere examenjaren. Het referentiegemiddeld cijfer geeft aan welk gemiddeld cijfer de referentiepopulatie gehaald zou hebben op het referentie-examen bij de referentie-N-term. De prestaties van nieuwe kandidaten kunnen vergeleken worden met die van de referentiepopulatie.
Bij een stabiel vaardigheidsniveau wordt de N-term bij een nieuw examen zo gekozen dat het gemiddeld cijfer zo dicht mogelijk ligt bij het referentie-gemiddeld cijfer. In een periode waarin het vaardigheidsniveau stabiel is, kunnen de referentiegegevens gebaseerd worden op meerdere jaren en in een periode waarin het vaardigheidsniveau niet stabiel is, zullen de referentiegegevens gebaseerd zijn op het meest recente geschikte centraal examen.
2. Bepalen technische N-term
Voor ieder centraal examen worden afnamegegevens verzameld; scores per item per kandidaat. Daarnaast wordt informatie verzameld over de moeilijkheidsgraad van dat examen in vergelijking met het referentie-examen. Daarvoor kan gebruik gemaakt worden van:
- −
Pretest, posttest of anchor in package
- −
Vergelijkende standaardbepalingen
- ○
Uitgevoerd door de vaststellingscommissie van het CvTE
- ○
uitgevoerd door een groep experts onder leiding van Stichting Cito
- ○
uitgevoerd door correctoren van de staatsexamens
- −
Methoden om vaardigheidswijziging in een cluster van vakken te schatten
- −
Docentenoordeel
- −
Historische N-termen
- −
vergelijking tijdvak 2 met tijdvak 1 op basis van de resultaatverbetering van kandidaten die in het eerste tijdvak een onvoldoende hadden
De N-term wordt bepaald aan de hand van een gewogen oordeel over alle beschikbare bronnen voor het betreffende centraal examen. Op deze manier wordt gezorgd dat een verandering in vaardigheidsniveau gesignaleerd wordt en de prestatie-eis gelijk blijft ook als de vaardigheid van de examenpopulatie verschilt van de referentiepopulatie. Het gemiddeld cijfer wordt hoger bij een toegenomen vaardigheidsniveau en lager bij een gedaald vaardigheidsniveau.
2.1. Voorlopige N-term in tijdvak 2
Voor het examen in het tweede tijdvak geldt in beginsel de N-term van het eerste tijdvak. Aan de hand van verzamelde informatie over de moeilijkheidsgraad van het examen in het tweede tijdvak in vergelijking met het examen in het eerste tijdvak, wordt nagegaan of deze N-term zou leiden tot hogere eisen aan de kandidaat dan in het eerste tijdvak. Als dat het geval is, wordt de N-term zo vastgesteld dat de eisen gelijk zijn.
2.2. Centraal examen met een nieuw examenprogramma
Bij de normering van een examen met een nieuw examenprogramma kan vaak geen vergelijking gemaakt worden met een referentie-examen. In dat geval kan gebruik gemaakt worden van niet-vergelijkende standaardbepalingsmethoden.
In geval van een pilot kan een examen op basis van het nieuwe programma (het pilotexamen) gelijktijdig worden afgenomen met een examen op basis van het oude programma (het reguliere examen). Als de oude en nieuwe stof elkaar deels overlappen en de overlap eenzelfde positie in het programma inneemt, wordt op grond van de resultaten van de kandidaten op de vragen over de overlappende stof de vaardigheid van de kandidaten bepaald. Deze informatie kan gebruikt worden om de moeilijkheidsgraad van de vragen over de niet-overlappende stof en vervolgens het gehele examen te bepalen.
3. Compensatie voor fouten of onvolkomenheden via de N-term
Als een examen een onvolkomenheid bevat die kandidaten aanwijsbaar kan benadelen, krijgen correctoren nadere instructies door een aanvulling op het correctievoorschrift. De aanvulling kan inhouden dat alle punten voor (een deel van) de vraag aan alle kandidaten moeten worden toegekend ongeacht of er wel of geen antwoord gegeven is, en ongeacht het gegeven antwoord. In dat geval is sprake van neutralisatie van (een deel van) de vraag. De vraag draagt de facto niet meer bij aan het behaalde resultaat op het centraal examen.
Voor de nadelige gevolgen voor een kandidaat van een door het CvTE vastgestelde fout of onvolkomenheid in een examen of correctievoorschrift, compenseert het CvTE via de N-term indien:
- a.
de fout of onvolkomenheid niet eerder is hersteld via een erratum op de opgaven of via een aanvulling op het correctievoorschrift, bedoeld in artikel 10 van de Regeling beoordelingsnormen en bijbehorende scores centraal examen VO;
- b.
herstel via een aanvulling op het correctievoorschrift gelet op het tijdstip waarop de fout wordt vastgesteld naar het oordeel van het CvTE leidt tot een te groot risico op onjuistheden bij het vaststellen van scores op examens; en
- c.
de N-term nog niet is vastgesteld.
Deze correctieprocedure via de N-term geldt voor alle tijdvakken en vindt in voorkomende gevallen plaats op grond van de in supplement II bij deze bijlage opgenomen formules voor het compenseren voor een fout of onvolkomenheid. Hierdoor wordt voorkomen dat de score van een kandidaat in een te laag cijfer wordt omgezet.
Supplement I. De formules voor de omzetting van score naar cijfer
1. Uitgangspunten
Het systeem voor de omzetting van score naar cijfer is gebaseerd op de volgende vier uitgangspunten:
- 1.
Elk gescoord punt draagt altijd bij tot een hoger examencijfer (afronding daargelaten);
- 2.
Een score van 0% correspondeert altijd met examencijfer 1,0;
- 3.
Een score van 100% correspondeert altijd met examencijfer 10,0;
- 4.
Over een zo breed mogelijk centraal interval van de scoreschaal is er (afronding daargelaten) sprake van een evenredige stijging van score- en cijferpunten die onafhankelijk is van de normering.
Hierbij wordt onder de score verstaan: de zuivere score, dus uitsluitend de punten die aan de kandidaat zijn toegekend voor goede antwoordelementen.
2. Het normeringsvoorschrift
Het normeringsvoorschrift bestaat uit twee onderdelen:
- −
de hoofdrelatie: de formule die, voor de overgrote meerderheid van de kandidaten, het berekeningsvoorschrift geeft voor het omzetten van score naar cijfer;
- −
vier grensrelaties: vier formules die (bij andere N-termen dan 1,0) voorkomen dat kandidaten met zeer lage of zeer hoge scores een cijfer zouden krijgen dat in strijd is met bovengenoemde vier uitgangspunten.
3. De hoofdrelatie
De hoofdrelatie geeft aldus het examencijfer als functie van de score:
C = 9,0 * (S/L) + N (1)
waarin:
C = het cijfer voor het centraal examen.
S = de score, dat wil zeggen de zuivere aan de kandidaat toegekende score.
L = de lengte van de scoreschaal, zoals vastgelegd in het correctievoorschrift;
N = de normeringsterm, een getal met één decimaal liggend tussen de waarden: N = 0,0 en N = 2,0, vast te stellen door het CvTE middels een normeringsbeslissing.
Zijn zowel L als N bekend, dan leidt invullen van de score S direct tot het examencijfer C.
De hoofdrelatie is gevisualiseerd in figuur 1:
Figuur 1
4. De grensrelaties
Als de normeringsterm groter of kleiner is dan 1,0 wordt niet automatisch voldaan aan de eerder genoemde vier uitgangspunten. Bij N-termen groter dan 1,0 zou een score van 0 een cijfer hoger dan 1,0 opleveren en de maximale score hoger dan 10,0. Het omgekeerde gebeurt bij N-termen kleiner dan 1,0. Hiermee is niet voldaan aan de uitgangspunten 2 en 3.
Dit is in beeld gebracht in figuur 2:
Figuur 2
Dit wordt opgelost door middel van een systeem van zogeheten grensrelaties. Het principe van grensrelaties is gevisualiseerd in figuur 3.
Figuur 3
Samen vormen de vier lijnstukken 2a, 2b, 3a en 3b een gebied waarbinnen alle toegestane score-cijfercombinaties moeten liggen. Dreigt bij toepassing van de hoofdrelatie – formule (1) – een score-cijfercombinatie buiten deze grenzen te vallen, dan moet voor de desbetreffende score dat cijfer vervangen worden door het cijfer berekend met de corresponderende grensrelatie.
De grensrelaties worden gevormd door de volgende vier formules:
C = 1,0 + S* (9/L)*2 (2a)
C = 10,0 – (L-S)* (9/L) * 0,5 (2b)
C = 1,0 + S* (9/L)* 0,5 (3a)
C = 10,0 – (L-S)*(9/L)*2 (3b)
Bij N > 1,0 geldt voor de laagste scores de formule (2a) en voor de hoogste scores de formule (2b).
In figuur 4 is dit gevisualiseerd.
Figuur 4
Bij N < 1,0 geldt voor de laagste scores de formule (3a) en voor de hoogste scores de formule (3b).
In figuur 5 is dit gevisualiseerd.
Figuur 5
5. Samenvattend
Samenvattend ziet het er als volgt uit:
Bij een waarde voor de normeringsterm van N = 1,0 treedt het systeem van grensrelaties niet in werking en resulteert een score-cijfertransformatie die grafisch wordt gerepresenteerd door de rechte lijn van Fig.1, de lijn die in Fig. 6 is gelabeld met: ‘N=1,0’.
Bij alle andere waarden van N zijn de grensrelaties wel van belang. In figuur 6 zijn als voorbeelden de twee gevallen in beeld gebracht die respectievelijk corresponderen met N = 2,0 en N = 0,0. Deze leveren als score-cijfertransformaties de twee dubbel-geknikte lijnen op (gelabeld met ‘N=2,0’ en ‘N=0,0’).
Figuur 6
Supplement II. De formules voor het compenseren voor een fout of onvolkomenheid
De N-term die zou zijn vastgesteld als de desbetreffende fout of onvolkomenheid in een examen of correctievoorschrift niet door het CvTE was vastgesteld, wordt verhoogd met 9 * Pvrg * Mvrg / L, waarbij deze uitkomst wordt afgerond op één decimaal.
In deze formule staat Pvrg voor de P-waarde van de onvolkomen vraag en Mvrg voor de maximaal haalbare score op deze vraag. Een P-waarde van 0,63 betekent dat de kandidaten gemiddeld 63% van Mvrg behaald hebben. L staat voor de lengte van de scoreschaal ofwel de maximaal haalbare score op het gehele examen.
Het uitgangspunt bij deze werkwijze is dat de kandidaat die geen punten heeft kunnen scoren op de onvolkomen vraag, voldoende wordt gecompenseerd om geen nadeel te ondervinden van de fout.
Aan het derde tijdvak nemen zo weinig kandidaten deel dat de P-waarden geen relevante informatiebron vormen. De N-term die zonder de fout zou zijn vastgesteld wordt verhoogd met 9 * Mvrg / L. Deze compensatie is wellicht te hoog, maar zo wordt voorkomen dat kandidaten benadeeld worden door de fout.