Na een toets heb je niet alleen cijfers, maar vaak ook een toetsanalyse met per vraag een p-waarde en een rit-waarde. Wat die getallen betekenen, is snel uitgelegd. De p-waarde zegt welk deel van de leerlingen een vraag goed had. De rit-waarde zegt of leerlingen met een hoge totaalscore de vraag vaker goed hadden dan leerlingen met een lage. Lastiger is de beslissing die erop volgt. Laat je de vraag staan, kijk je hem anders na of haal je hem uit de toets? Dit artikel geeft een stappenplan en beslisregels per situatie.
De getallen wijzen een vraag aan, maar ze beslissen niets. Lees altijd eerst de vraag en de antwoorden van leerlingen voordat je een score aanpast.
Hoe betrouwbaar is de toetsanalyse van één klas?
Statistiek over één klas is wankel. Bij 25 leerlingen verschuift de p-waarde 0,04 als één leerling anders antwoordt. De rit-waarde schommelt nog meer. Bij een toets met weinig vragen weegt de vraag zelf zwaar mee in de totaalscore. De rit-waarde valt dan te gunstig uit. Kijk in dat geval liever naar de rir-waarde, die de vraag zelf buiten de totaalscore laat.
Grenswaarden zoals 0,20 of 0,30 zijn vuistregels, geen wet. Boeken en programma's leggen de grenzen net verschillend. Gebruik ze om vragen te markeren, niet om automatisch te beslissen.
Stappenplan: van toetsanalyse naar besluit
- Stap 1: markeer de uitschieters. Dat zijn vragen die bijna iedereen goed of fout had, en vragen met een lage of negatieve rit-waarde.
- Stap 2: lees elke gemarkeerde vraag opnieuw, alsof je hem voor het eerst ziet. Klopt het antwoordmodel? Is er een tweede goed antwoord? Staat er een ontkenning of een vaag woord in dat leerlingen op het verkeerde been zet?
- Stap 3: bekijk wat leerlingen echt antwoordden. Bij meerkeuze: welke foute optie werd vaak gekozen, en door wie? Bij open vragen: lees een paar antwoorden van sterke leerlingen die geen punten kregen.
- Stap 4: bepaal waar het probleem zit: in de vraag, in het nakijken of in de les. Alleen de eerste twee zijn een reden om scores aan te passen. Zit het in de les, dan herhaal je de stof.
- Stap 5: kies per vraag één maatregel uit de tabel hieronder en pas die toe op alle leerlingen tegelijk.
- Stap 6: schrijf op wat je hebt veranderd en waarom, en vertel het de klas bij de bespreking.
- Stap 7: verbeter de vraag voordat je hem opnieuw gebruikt.
Beslistabel: wat doe je met welke vraag?
De tabel geeft per patroon een mogelijke oorzaak en een passende maatregel. Of die oorzaak klopt, controleer je altijd in de vraag en de antwoorden.
| Wat je ziet | Mogelijke oorzaak | Wat je doet |
|---|---|---|
| Lage p, goede rit | Moeilijke maar zuivere vraag, of stof die nog niet beheerst wordt | Laten staan. Besteed in de les extra aandacht aan de stof. |
| Lage p, lage rit | Onduidelijke vraag, fout in het antwoordmodel of stof die niet behandeld is | Vraag en antwoorden nalezen. Was de vraag onduidelijk of de stof niet behandeld: iedereen de punten geven of schrappen. |
| Negatieve rit | Sterke leerlingen kiezen een ander antwoord, vaak door een foute sleutel of een tweede goed antwoord | Eerst de sleutel controleren. Fout: verbeteren en opnieuw nakijken. Twee goede antwoorden: beide goed rekenen. |
| p bijna 1 | Makkelijke vraag, of een hint in de vraag zelf | Laten staan als het basisstof is. Haal een onbedoelde hint eruit voor de volgende keer. |
| p rond de gokkans bij meerkeuze (0,25 bij vier opties) | Leerlingen gokken, bijvoorbeeld omdat ze de vraag niet begrijpen | Kijk hoe de keuzes verdeeld zijn. Gelijk verdeeld over alle opties: vraag nalezen en eventueel schrappen. |
| Gemiddelde p, lage rit | De vraag meet iets anders dan de rest, zoals leesvaardigheid in een rekentoets | Voor nu laten staan. Herschrijf hem of zet hem in een toets waar hij past. |
| Een foute optie trekt vooral sterke leerlingen | Die optie is ook te verdedigen | Overweeg die optie ook goed te rekenen. |
Let op bij een p-waarde dicht bij 1. Als bijna iedereen de vraag goed heeft, is er te weinig verschil tussen leerlingen om een samenhang te meten. De rit-waarde zegt dan weinig. Beoordeel zo'n vraag alleen op de inhoud.
Schrappen, punten geven of anders nakijken?
Er zijn drie manieren om een slechte vraag recht te zetten. Ze pakken verschillend uit voor leerlingen.
- Schrappen: de vraag telt niet mee en de maximale score wordt lager. Leerlingen die de vraag goed hadden, raken hun voorsprong op die vraag kwijt. Het verschil is klein, maar je moet het wel kunnen uitleggen.
- Iedereen de punten geven: de maximale score blijft gelijk en niemand gaat erop achteruit. Dit ligt voor de hand als de vraag onduidelijk was of de stof niet behandeld is.
- Anders nakijken: je rekent een tweede antwoord ook goed of past het antwoordmodel aan. Dat is de juiste keuze als de vraag deugde, maar het model te smal was.
Wat je ook kiest: doe het voor de hele groep, en doe het voordat de cijfers definitief zijn. Maken meer klassen dezelfde toets, gebruik dan overal dezelfde aanpassing. Gaat er een vraag uit, reken dan ook de cesuur in punten opnieuw uit.
Wat neem je mee naar de volgende toets?
- Gebruik een vraag met een negatieve rit-waarde niet opnieuw zonder hem te herschrijven.
- Een vraag die iedereen goed had, is niet per se slecht. Basisstof mag makkelijk zijn. Een toets die alleen uit zulke vragen bestaat, maakt wel geen onderscheid.
- Vervang een foute optie die niemand kiest door een fout die leerlingen echt maken.
- Noteer bij de vraag de p-waarde en de klas. Bij de volgende afname zie je of het om een uitschieter ging.
Hoe dit in TestWisely werkt
In TestWisely open je via de knop Statistieken op de toetskaart de analyse van een toets. In de zijbalk kies je de weergave Basis, Medium of Expert. Vanaf Medium staan de p-waarde en de rit-waarde per vraag in een tabel, met een korte beoordeling zoals goed, makkelijk of te moeilijk. In Expert staat ook de rir-waarde naast de rit-waarde. Hebben meer klassen de toets gemaakt, dan kun je de cijfers per klas bekijken. De p-waarde, rit-waarde en rir-waarde gelden altijd voor alle klassen samen.
Het blok Automatische suggesties noemt vragen met een p-waarde boven 0,90 of onder 0,20, vragen met een rit-waarde onder 0,15 en een lage betrouwbaarheid van de hele toets (Cronbach's alpha onder 0,70). Bij een vraag van meer punten is de p-waarde het gemiddelde deel van de punten dat leerlingen haalden: haalt de klas gemiddeld 3 van de 4 punten, dan is de p-waarde 0,75. De rit-waarde is de samenhang tussen de score op de vraag en de totaalscore. Wat een leerling precies antwoordde, zie je via Resultaten: klik op de leerling voor het antwoord en de punten per vraag.
