Bijlage 1 Regeling beoordelingskader doorstroomtoets PO: beoordelingskader voor de doorstroomtoets

Regeling beoordelingskader doorstroomtoets PO

Bijlage behorende bij artikel 1 van de Regeling beoordelingskader doorstroomtoets PO. Sinds het schooljaar 2014–2015 zijn scholen in het primair onderwijs verplicht in groep 8 een eindtoets Nederlandse taal en Rekenen af te nemen. Per 1 januari 2023 is de eindtoets vervangen door de doorstroomtoets. De Wet doorstroomtoets po schrijft voor dat het College voor Toetsen en Examens (CvTE) als wettelijke taak heeft om doorstroomtoetsen te erkennen. Doorstroomtoetsen die het CvTE erkent, worden voor een periode van vier jaar toegelaten tot het primair onderwijs. Het CvTE maakt voor het erkennen van een doorstroomtoets gebruik van een adviseur. De adviseur baseert diens advies op het beoordelingskader vastgesteld met deze regeling. Op basis van het advies van de adviseur stelt het CvTE tevens jaarlijks vast of de erkende doorstroomtoets voor dat jaar voldoet aan de criteria van de Regeling beoordelingskader doorstroomtoetsen po. Bij het beoordelen van extra kennisgebieden, buiten de verplichte en optionele domeinen van de terreinen Nederlandse taal en Rekenen, oordeelt het CvTE of ook dat deel van de toets inhoudelijk valide en betrouwbaar is en of het van een deugdelijke normering is voorzien. Voor de beoordeling van dit deel worden de toetsbare onderdelen van dit beoordelingskader toegepast. Het CvTE beoordeelt ook de door de overheid aangeboden calamiteitentoets1https://www.eerstekamer.nl/behandeling/20210907/gewijzigd_amendement_van_het_lid/document3/f=/vlmnj6ccx4n2.pdf. Vanwege de bijzondere aard van de calamiteitentoets, bestaat de jaarlijkse vaststelling slechts uit een inhoudelijke check op actualiteiten en de kalibratie. Indien de calamiteitentoets in enig jaar moet worden ingezet, wordt een nieuwe toets voor het daarop volgende jaar ontwikkeld. Deze moet dan opnieuw erkend te worden door het CvTE. Deze regeling geeft een beoordelingskader voor de erkenning en jaarlijkse vaststelling van de doorstroomtoets primair onderwijs, ten aanzien van de toepassing van de ps

• Aanbieder: aanbieder van een doorstroomtoets.
• Absolute normen: standaarden waaraan de vaardigheidsniveaus van leerlingen gerelateerd kunnen worden. Deze standaarden worden vastgesteld op basis van inhoudelijke en/of toetsspecifieke criteria.
• Afnemer: een afnemer van een toets zoals een leerkracht, intern-begeleider, directeur of observator.
• Algoritme (beslisregel): systeem van regels, logische of wiskundige handelingen, die als stappenplan gelden en kunnen worden uitgevoerd om tot een bepaald resultaat te komen.
• A-parameter: geeft bij een 2PL itemresponsmodel het discriminerend (onderscheidend) vermogen van een item weer. Hoe hoger het onderscheidend vermogen, hoe beter het item onderscheid maakt tussen lage en hoge vaardigheidsniveaus. In de praktijk worden de waarden relatief – d.w.z. tussen de items onderling – bekeken: hoe hoger de waarde van een bepaald item, hoe hoger het onderscheidend vermogen ten opzichte van de andere items.
• A-waarde: is de proportie leerlingen die, of het percentage leerlingen dat, bij een meerkeuzevraag de desbetreffende afleider als antwoord heeft gekozen.
• Beoordelaarsovereenstemming: de mate waarin verschillende beoordelaars tot identieke beoordelingen komen van (bijvoorbeeld) het werk van leerlingen. Twee veel gebruikte maten voor beoordelaarsovereenstemming zijn het percentage overeenstemming tussen twee beoordelaars en Cohen’s Kappa.
• Betrouwbaarheid: de mate waarin de toetsscores – op groepsniveau – vrij zijn van toevallige meetfouten.
• B-parameter: verwijst over het algemeen naar de parameter in itemresponsmodellen die betrekking heeft op de moeilijkheidsgraad van een item.
• CAT: computergestuurde adaptieve toets op itemniveau, waarbij een item wordt gekozen die qua moeilijkheid het beste aansluit op de vaardigheid zoals ingeschat op basis van de antwoorden op de eerdere opgaven.
• Cesuur: minimale prestatie (gerepresenteerd als vaardigheid of toetsscore) die net indicatief is voor het halen van een (referentie)niveau en toetsadviescategorie.
• Constructvaliditeit: eigenschap die een doorstroomtoets heeft als kan worden aangetoond dat de toets het door de constructeur beoogde kenmerk van de leerling (kennisniveau, vaardigheid) meet. Deze wordt per kenmerk binnen een doorstroomtoets bepaald.
• Dichotome scoring: wijze van scoren (punten toekennen) waarbij slechts twee waarderingen van het antwoord worden onderscheiden: bijvoorbeeld ‘goed’ of ‘fout’. Een meerkeuzevragen wordt dichotoom gescoord (0 = niet correct, 1 = correct).
• Differentieel item functioneren (DIF): is een maat waarin items verschillend functioneren voor bepaalde (sub)groepen leerlingen, zelfs wanneer deze (sub)groepen leerlingen een vergelijkbaar prestatieniveau hebben. Het gaat hierbij over de vraagonzuiverheid, dat wil zeggen wanneer de verschillen in de prestaties op het item tussen groepen niet geheel verklaard kunnen worden door verschillen in de (latente) vaardigheid die aan de opgave ten grondslag ligt.
• Discriminerend vermogen: mate waarin op grond van de scores op een item hoog- en laagscorende leerlingen (op de hele toets) onderscheiden kunnen worden.
• Domein: verzameling van onderling samenhangende kennis en vaardigheden waarover getoetst wordt. Zo bestaat het terrein Rekenen uit de vier domeinen Getallen, Verhoudingen, Meten en Meetkunde en Verbanden.
• Effectgrootte: statistische maat om de grootte van een effect – bijvoorbeeld het verschil in de gemiddelde rekenprestaties tussen jongens en meisjes – weer te geven. Er wordt een onderscheid gemaakt tussen niet gestandaardiseerde (ruwe) effectgroottes en gestandaardiseerde effectgroottes. De bekendste gestandaardiseerde effectmaat is Cohen’s d. Deze maat geeft het verschil tussen twee gemiddelden in het aantal standaarddeviaties. Ook de correlatie kan worden gezien als een gestandaardiseerde maat voor de effectgrootte.
• Gezamenlijk anker: verzameling van items die in alle doorstroomtoetsen wordt opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende doorstroomtoetsen vast te kunnen stellen.
• Inhoudsgebied: vaardigheid die in het onderwijsaanbod in het primair onderwijs is opgenomen. Zoals vaardigheden waarover referentieniveaus kunnen worden gerapporteerd (rekenen, lezen, taalverzorging) of andere vaardigheden waarop op hoofdniveau wordt gerapporteerd.
• Inhoudsvaliditeit: mate waarin de inhoud van de doorstroomtoets een representatieve weergave is van het te meten referentieniveau.
• Itemkalibratie: schatting (berekening) van de psychometrische eigenschappen (parameters) van een verzameling items met het doel om deze items op dezelfde schaal te brengen.
• Itemtype: vraagvorm, zoals meerkeuze, open, dictee.
• Jaarset: de selectie van gezamenlijke ankeritems uit de ankerbank die in een bepaald afnamejaar wordt afgenomen.
• Leerdoel: beoogde resultaat van onderwijsleeractiviteiten. Als het beoogde leerresultaat wordt geformuleerd in termen van uiterlijke condities en waarneembaar leerlinggedrag spreekt men van ‘concrete leerdoelen’ of ‘gedragsdoelen’. Als het beoogde leerresultaat wordt geformuleerd in termen van cognitief gedrag of van cognitieve structuren, spreekt men van cognitieve leerdoelen.
• Meetnauwkeurigheid: mate waarin de toetsscores op een specifiek deel van de meetschaal vrij zijn van toevallige meetfouten.
• Module: set van items in een multistage toets (MST), vaak van vergelijkbare moeilijkheid.
• Moeilijkheidsgraad: in hoeverre leerlingen uit de doelpopulatie in staat zijn om de vraag of vragen goed te beantwoorden. De moeilijkheid wordt meestal uitgedrukt met een p-waarde.
• Multistage toets (MST): adaptieve doorstoomtoets op moduleniveau. Een MST lijkt op een CAT, maar in plaats dat items een voor een worden geselecteerd, worden er sets van items afgenomen in modules. Nadat een leerling een set heeft afgerond, wordt een nieuwe inschatting van de vaardigheid gemaakt en op basis daarvan wordt een nieuwe set gekozen. Een MST kan een digitale toets zijn, of één op papier.
• Normeren: toekennen van een waardering aan een score. Bij de landelijke (toetsoverstijgende) normering van de doorstroomtoets betreft dit het vaststellen van de cesuren van de referentieniveaus en de toetsadviescategorieën.
• Onderwijstype: specificatie van onderwijssoort op basis van de mate van extra ondersteuning. Onderscheiden worden regulier basisonderwijs (BO), speciaal onderwijs (SO) en speciaal basisonderwijs (SBO).
• Plan, Do, Check, Act (PDCA) cyclus: is een model om de continue verbetering en vernieuwing in een organisatie te sturen. Het cyclisch karakter zorgt ervoor dat de kwaliteitsverbetering continu onder de aandacht is.
• Po: primair onderwijs
• Populatie: verzameling van vooraf gedefinieerde eenheden waarover men met behulp van statistisch onderzoek op steekproeven uit die populatie uitspraken wil doen.
• Pretesten: afnemen van een aantal opgaven bij een groep leerlingen, meestal met het doel de eigenschappen van de doorstroomtoets te onderzoeken. Deze groep leerlingen is zoveel mogelijk vergelijkbaar met de populatie waarvoor de doorstroomtoets oorspronkelijk is ontwikkeld.
• P-waarde: is een getal tussen 0 en 1 waarmee de moeilijkheidsgraad van een opgave kan worden weergegeven. De p-waarde wordt berekend door de gemiddelde score op een opgave te delen door de maximaal haalbare score op die opgave. De p-waarde voor een meerkeuzevraag is gelijk de proportie van de leerlingen die het juiste antwoord heeft gekozen.
• Rar-waarde: correlatie tussen een afleider van een item en de totaalscore minus het betreffende item. Hiermee wordt de kwaliteit van de afleiders onderzocht voor meerkeuze-opgaven.
• Referentiekader: beschrijving van wat leerlingen op verschillende momenten in hun schoolloopbaan op het gebied van Nederlandse taal en Rekenen moeten kennen en kunnen (zie ook: Besluit referentieniveaus Nederlandse taal en Rekenen).
• Referentieniveaus: beschrijvingen van beheersingsdoelen voor Nederlandse taal en Rekenen die aangeven wat leerlingen moeten kennen en kunnen op verschillende momenten tijdens een schoolloopbaan. De referentieniveaus zijn wettelijk verankerd in de Wet referentieniveaus Nederlandse taal en Rekenen.
• Rit-waarde: correlatie tussen het item en de totaalscore op alle items. De item-testcorrelatie is een maat voor het discriminerend vermogen van items. De item-testcorrelatie valt hoger uit dan de item-restcorrelatie omdat hier de itemscore in de totaalscore van een toets wordt meegeteld, waardoor sprake is van autocorrelatie. Daarom wordt aangeraden om de item-restcorrelatie te gebruiken.
• Rir-waarde: correlatie tussen het item en de totaalscore minus het betreffende item. De item-restcorrelatie is een maat voor het discriminerend vermogen van een item.
• Schaal: reeks getallen die volgens een bepaald voorschrift gekoppeld worden aan waarnemingen.
• Steekproef: verzameling leerlingen met specifieke kenmerken die op aselecte wijze uit de te onderzoeken populatie zijn getrokken.
• Stopcriterium: criteria op basis waarvan een CAT wordt stopgezet. Na iedere opgave in de adaptieve module wordt automatisch geëvalueerd of het criterium is bereikt (e.g., de standaardfout op de vaardigheidsschatting is onder een bepaalde grenswaarde gedaald, een vooraf vastgestelde maximale toetslengte is bereikt).
• Subdomein: verzameling van onderling samenhangende kennis en vaardigheden waarover getoetst wordt. Zo bestaat het domein lezen uit de subdomeinen zakelijke en fictionele teksten.
• Taaktype/taakuitvoering: classificering of combinatie van classificaties van de onderverdeling van een inhoudsgebied, zoals begrijpen, interpreteren, contextloos, morfologische spelling.
• Terrein: centraal onderdeel dat in de doorstroomtoets aan bod moet komen. Het referentiekader onderscheidt twee centrale terreinen: het terrein Nederlandse taal en het terrein Rekenen. Beide terreinen worden uitgewerkt in onderliggende (sub)domeinen.
• Toetsadvies: op basis van de behaalde resultaten op de doorstroomtoets berekende best passende niveau voor het volgen van aansluitend voorgezet onderwijs voor de leerling.
• (Toets)item: is synoniem voor (toets)opgave.
• Toetsmatrijs: een tabel die de blauwdruk is van een toets. Bevat o.a. het aantal vragen per toets verdeeld over aspecten en niveaus.
• (Toets)opgave: is een onderdeel van een toets en bevat altijd een stimulus (een middel of prikkel om een bepaald gedrag van een kandidaat uit te lokken) waarop een respons (het uitgelokte gedrag) mogelijk moet zijn. Toetsreglement document waarin de wijze van afnemen wordt geregeld.
• Toetsterm: concrete, eenduidige en meetbare operationalisering van het betreffende leerdoel zoals beschreven in het bijpassende referentieniveau Nederlandse taal en Rekenen.
• Zaai-opgave: een toetsopgave die in een doorstroomtoets wordt gepretest om data over te verzamelen ten behoeve van parameterschattingen.
• ○ Een aanbiedingsbrief met daarin het KvK-nummer van de toetsaanbieder en de officiële naam van de toetsaanbieder en het aangeboden instrument;
• ○ Een ingevuld door het CvTE beschikbaar gestelde model voor een leeswijzer2Indien een aanbieder ervoor kiest om de volgorde van de kwaliteitscriteria uit het beoordelingskader als uitgangspunt voor één verantwoordingsdocument te nemen, hoeft de aanbieder geen aanvullende leeswijzer in te dienen. met daarin uiteengezet in welk aangeleverd document en hoofdstuk een kwaliteitscriterium uit het beoordelingskader wordt verantwoord;
• ○ Toets met bijbehorende ondersteunende materialen voor de gebruiker (inclusief beschikbare versie(s) voor leerlingen met ondersteuningsbehoeften). De aanbieder wordt gevraagd om alle toetsopgaven inzichtelijk aan te leveren. Daaronder vallen alle items van de doorstroomtoets zelf én ankeropgaven en eventuele zaai-opgaven;
• ○ Itemlijst met itemgegevens (volgnummer, itemcode, (sub)domein, itemtype, sleutel en/of scoringsregels, kenmerk van de taakuitvoering, referentieniveau, ankertype (intern of gezamenlijk)) en indien van toepassing vermelden in welk jaartal item in de itembank is opgenomen, aangeven of en wanneer de items zijn aangeboden voor de onderwijskundige opgaven feedbackservice (OOF) en indien items al eerder zijn afgenomen in operationele setting deze jaartallen vermelden;
• ○ Praktische handleiding voor leerkrachten;
• ○ Wetenschappelijke en inhoudelijke verantwoording, inclusief de psychometrische aspecten van de doorstroomtoets, zoals beschreven in Hoofdstuk 5 van deze regeling en zoals beschreven in de Regeling Beoordelingsnormen Doorstroomtoetsen po.
• ○ Toetsreglement van de betreffende toets;
• ○ Informatie over de toetsinhoud en de afnamevorm;
• ○ Voorbeeld leerlingrapportage en eventueel andere rapportages;
• ○ Toetsveiligheidsplan;
• ○ Actieplan hoe om te gaan met diefstal van toetsinhoud;
• ○ Fraudepreventieplan;
• ○ Calamiteitenplan;
• ○ Indien van toepassing: Cd's, dvd's en/of usbsticks en log-ins en wachtwoorden;
• ○ Indien van toepassing: Antwoordformulieren;
• ○ Indien van toepassing: ISO-certificaat inclusief een verklaring van toepasbaarheid (c.q. de scope van het certificaat).
• ○ Toetsboeken (digitaal aanleveren volstaat) inclusief ankeropgaven en eventuele zaai-opgaven.
• ○ Inlogmogelijkheid als leerling en als administrator (scrollen zonder antwoorden in te vullen, toets onderbreken en op later tijdstip te hervatten);
• ○ Mogelijkheid alle items te kunnen inzien inclusief ankeropgaven en eventuele zaai-opgaven;
• ○ Mogelijkheid om items per inhoudsgebied te bekijken.
• ○ Inlogmogelijkheid als leerling en als administrator (scrollen zonder antwoorden in te vullen, toets onderbreken en op later tijdstip te hervatten);
• ○ Mogelijkheid alle items te kunnen inzien inclusief ankeropgaven en eventuele zaai-opgaven;
• ○ Mogelijkheid om items per inhoudsgebied te bekijken;
• ○ Mogelijkheid om items per module te bekijken;
• ○ Mogelijkheid om items in (bij voorkeur verschillende) toetspaden te bekijken.
• ○ Inlogmogelijkheid als leerling en als administrator (scrollen zonder antwoorden in te vullen, toets onderbreken en op later tijdstip te hervatten);
• ○ Mogelijkheid alle items te kunnen inzien inclusief ankeropgaven en eventuele zaai-opgaven;
• ○ Mogelijkheid om items per inhoudsgebied te bekijken;
• ○ Mogelijkheid om items in (bij voorkeur verschillende) toetspaden te bekijken.
• ○ Mogelijkheid om een aantal voorbeelditems te bekijken waarbij een duidelijk beeld wordt gegeven van de aanpassing, zoals items met gebarentaal of aanpassing van de kleuren en/of contrast.
• – H.3. Onderwijskundige aspecten
• – H.4. Organisatorische aspecten
• – H.5. Psychometrische aspecten
• ○ de leerdoelen zijn geoperationaliseerd in observeerbare en meetbare toetstermen die ieder voor zich aansluiten bij de domeinbeschrijvingen en indeling van de referentieniveaus voor het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen én de, indien van toepassing, optionele (sub)domeinen van Nederlandse taal;
• ○ de toetsmatrijs in ieder geval bevat: (1) het aantal vragen met bijbehorende scorepunten per vraag, (2) de toetsvorm en/of het type vragen, (3) de verdeling over de (sub)domeinen, (4) de verdeling van de verschillende vraag- en teksttypes in de toets, (5) de verdeling over de referentieniveaus.
• ○ in het geval van een CAT dat de aanbieder verantwoordt hoe het wettelijk verplichte domein Lezen en subdomein Taalverzorging van het terrein Nederlandse taal en het terrein Rekenen én de, indien van toepassing, optionele (sub)domeinen van Nederlandse taal op representatieve wijze voor alle individuele leerlingen aan bod komen.
• 1. de toetsopgave wordt verwijderd;
• 2. de toetsopgave wordt aangepast (minimale aanpassing met weinig impact);
• 3. de toetsopgave wordt – op basis van de inhoudelijke en/of psychometrische onderbouwing – goedgekeurd.
• 1. Relatieve verdeling: van RL1 t/m RL8 moeten alle vragen met JA of N.V.T. worden beantwoord.
• 2. Taken: van L1.1 t/m L1.3 moeten tenminste twee van de drie vragen met JA worden beantwoord en moet L4 met JA worden beantwoord.
• 3. Tekstkenmerken: vraag L2 en L5 moeten beide met JA worden beantwoord.
• 4. Kenmerken van de taakuitvoering: de vragen L3.3 t/m L3.7 en L6.2 t/m L6.4 moeten met JA of N.V.T. worden beantwoord. De vraag L3.1 mag met een NEE worden beantwoord. Van de vragen L3.2 en L6.1 moet minstens één vraag met een JA worden beantwoord.
• 1. Relatieve verdeling en verschillende categorieën: Om aan deze categorie kwaliteitseisen te voldoen, moeten de vragen TV1 t/m TV7 met JA of N.V.T. worden beantwoord.
• 1. Taken: van S1.1 t/m S1.3 moeten tenminste twee van de drie vragen met JA worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen bij S2 moeten met JA worden beantwoord.
• 1. Taken: De vragen bij S3.1 t/m S3.3 moeten alle met JA worden beantwoord (minimaal één taak per categorie).
• 2. Kenmerken van de taakuitvoering: de vragen bij S4 moeten met JA worden beantwoord.
• 1. Taken: van M1.1 en M1.2 moet één van de twee vragen met JA worden beantwoord (taak is minimaal één keer aanwezig).
• 2. Kenmerken van de taakuitvoering: de vragen bij M2 moeten met JA worden beantwoord.
• 1. Taken: vraag M3 moet met JA te worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen bij M4 moeten met JA worden beantwoord.
• 1. Taken: van M5.1 en M5.2 moet één van de twee vragen met JA worden beantwoord (taak is minimaal één keer aanwezig).
• 2. Kenmerken van de taakuitvoering: de vragen bij M6 moeten met JA worden beantwoord.
• 1. Taken: van M7.1 t/m M7.3 moeten twee van de drie vragen met JA worden beantwoord (taak is minimaal één keer aanwezig).
• 2. Kenmerken van de taakuitvoering: de vragen bij M8 moeten met JA worden beantwoord.
• 1. Taken: vraag M9 moet met JA worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen bij M10 moeten met JA worden beantwoord.
• A. Notatie, taal en betekenis, waarbij het gaat om de uitspraak, schrijfwijze en betekenis van getallen, symbolen en relaties en om het gebruik van wiskundetaal.
• B. Met elkaar in verband brengen, waarbij het gaat om het verband tussen begrippen, notaties, getallen en dagelijks spraakgebruik.
• C. Gebruiken, waarbij het er om gaat rekenkundige vaardigheden in te zetten bij het oplossen van problemen.
• ○ De aanbieder neemt bij het maken van de toets zoveel mogelijk elementen op die zorgen dat de toets voor alle leerlingen (digitaal) toegankelijk is. Waar mogelijk worden de richtlijnen uit de WCAG 2.1 toegepast. Bij de itemconstructie wordt generiek minstens op de volgende wijze rekening gehouden met (digitale) toegankelijkheid: richtlijnen voor kleurgebruik en contrast bij items, richtlijnen met betrekking tot een ondubbelzinnige lay-out en tekstuele vormgeving, richtlijnen met betrekking tot figuurlijk taalgebruik (als dat geen toetsdoel is) en richtlijnen met betrekking tot het gebruik van ik, gebiedende wijs en vraagzinnen.
• ○ De toets kent geen tijdslimiet en het is mogelijk om pauzes te nemen.
• ○ De toets voorziet in een voorleesfunctie. De wijze waarop kan per toets(soort) verschillen.
• ○ A2.1: Hoe moet de schooldirecteur (of andere verantwoordelijke) de leerlingen voor de toets aanmelden?
• ○ A2.2: Welke hulpmiddelen mogen de leerlingen wel én niet gebruiken?
• ○ A2.3: Hoe en wanneer scholen incidenten voor, tijdens en na de afname bij de toetsaanbieder kunnen en moeten melden?
• ○ A2.4: Welke voorwaarden worden er gesteld aan de (wijze van) geheimhouding van de toetsopgaven door de schooldirecteur (of andere verantwoordelijke) en de afnemers?
• ○ A2.5: Welke voorwaarden zijn er verbonden aan de wijze waarop toezicht op de leerlingen moet worden gehouden?
• ○ A2.6: Op welke wijze worden de toetsopgaven aan het bevoegd gezag ter beschikking gesteld?
• ○ A2.7: Wat zijn de eisen waar de ICT omgeving (computerconfiguratie) op de school aan moet voldoen om de digitale toets af te kunnen nemen? Deze kwaliteitseis is niet van toepassing indien de ingediende toets niet digitaal wordt afgenomen.
• 1. Pretestprocedure voor het valideren van nieuw geconstrueerde items, uit te voeren door de toetsaanbieder en bestaande uit:
• a. Steekproefkader en samenstelling steekproef (paragraaf 5.2.1);
• b. Kalibratie en kwaliteit van items (paragraaf 5.2.2);
• c. Toetssamenstelling na pretest (paragraaf 5.2.3).
• 2. Landelijke itemgerelateerde (toetsoverstijgende) normering, uit te voeren door een adviseur in opdracht van het CvTE, zoals beschreven in de separate Regeling Beoordelingsnormen Doorstroomtoetsen po, en bestaande uit:
• a. Het door de toetsaanbieder aanleveren van de ruwe itemscores, waarna een adviseur deze controleert en analyseert;
• b. Kalibratie van de gezamenlijk ankeritems;
• c. Vaststellen van cesuren van referentieniveaus en toetsadviezen;
• d. Het door de toetsaanbieder vaststellen van de behaalde referentieniveaus en het toetsadvies per leerling.
• 3. Beoordeling van de kwaliteit en het functioneren van de doorstroomtoets (rapportage achteraf) zoals beschreven in de eisen KF1 t/m KF5, Hoofdstuk 5.4, te verwerken tot één rapportage.
• – Doel A (basis-kwaliteitscontrole): dataverzameling van nieuwe items ten behoeve van een basis-kwaliteitscontrole. Hierbij wordt onder andere de itemkwaliteit geëvalueerd aan de hand van itemstatistieken uit de klassieke testtheorie. Na de dataverzameling selecteert de toetsaanbieder de items die in aanmerking komen voor gebruik in de operationele toets.
• – Doel B (basis-kwaliteitscontrole + additionele dataverzameling): in aanvulling op bovenstaande beschrijving van doel A worden bij dit doel aanvullend de verzamelde data gebruikt in de kalibratie na de operationele afname. Dat is vooral relevant bij een MST of CAT, waarbij de afname niet zo ingericht kan zijn dat van te voren bepaald kan worden dat de opgaven door voldoende leerlingen gemaakt zullen worden. Voor een MST of een CAT wordt deze dataverzameling gebruikt voor het schatten van itemparameters ten behoeve van de adaptieve module.
• – Scenario 1: de aanbieder neemt een aparte proeftoets af bij een representatieve steekproef waarin de items worden afgenomen onder omstandigheden die vergelijkbaar zijn met de operationele afname.
• – Scenario 2: nieuwe items worden gezaaid in de operationele afname. Items mogen voor een leerling niet herkenbaar zijn als zaai-item.
• ○ de gekloonde opgave een relatie heeft met een ander of gewijzigd leerdoel;
• ○ de gekloonde opgave naar verwachting een andere of gewijzigde moeilijkheidsgraad heeft;
• ○ de gekloonde opgave naar een ander of gewijzigd modelantwoord leidt.
• 1) Op alle in de onderstaande tabel genoemde variabelen zitten er op minimaal twee niveaus per variabele en op minimaal drie niveaus van de variabele schoolweging gegevens in de steekproef;
• 2) Er is aangegeven hoe de steekproef getrokken is;
• 3) Er is aangegeven onder welke omstandigheden de data verzameld zijn;
• 4) Er is aangegeven hoe de steekproef zich verhoudt tot de verwachte populatie die de operationele toets afneemt met betrekking tot de in de tabel genoemde niveaus per variabele;
• 5) Er is aangegeven hoe de steekproef zich verhoudt tot de landelijke populatiewaarden van leerlingen in groep 8 met betrekking tot de in de tabel genoemde niveaus per variabele;
• 6) Er is aangegeven of en hoeveel S(B)O scholen hebben mee gedaan.
• ○ het totaal aantal boekjes (‘booklets’);
• ○ aantal observaties per boekje;
• ○ het aantal items dat tussen de opgavenboekjes onderling overlapt;
• ○ het aantal items, en de kwaliteit van de items, dat de pretest verbindt met de bestaande schaal.
• ○ de moeilijkheidsgraad is passend voor het meetdoel en de doelgroep (d.w.z. voor lineaire toetsen vergelijkbaar met een p-waarde tussen de gokkans en 0,95 en voor adaptieve toetsen passend bij de moeilijkheidsgraad van het betreffende design en/of toetspad);
• ○ het discriminerend vermogen is vergelijkbaar met een rir-waarde > 0,15, rekening houdend met de beperkte vaardigheidsrange van de leerlingen in het geval van een adaptieve toets;
• ○ de kwaliteit van de afleiders van meerkeuze-opgaven wordt geëvalueerd middels a- en rar-waarden. Deze moet de aanbieder presenteren. Bij het selecteren van een item met een rar-waarde > 0,05 moet de aanbieder voor dat item aangeven waarom dit item is meegenomen. Voor items die worden gepretest in een adaptieve pretest is het de aanbieder toegestaan om afleider-thetacorrelaties (IRT-variant op de klassieke rar-waarde waarbij theta is gebaseerd op de scores items minus het betreffende item) te berekenen, waarvoor 0,05 eveneens als grenswaarde geldt.
• ○ de interbeoordelaarsovereenstemming, in het geval van open vragen, vergelijkbaar is met een interbeoordelaarsovereenstemmingscoëfficiënt > 0,80.
• – Proeftoetsboekjes;
• – Schoolweging. Het staat de aanbieder vrij hoe ze de leerlingen indeelt in een x-aantal schoolwegingscategorieën;
• – Schooltypes (regulier bo vs. s(b)o).
• – De DIF-analyses worden grafisch onderbouwd;
• – Een DIF-statistiek naar eigen keuze wordt toegepast en de resultaten worden onderbouwd.
• 1. Hoe de toets wordt gestart;
• 2. Hoe de keuze voor een volgend item en wordt gemaakt;
• 3. Wanneer de toets wordt beëindigd (maximum aantal items en standard error).
• 1. Hoe de toets wordt gestart;
• 2. Hoe de keuze voor het volgende blokje wordt gemaakt;
• 3. Wanneer de toets wordt beëindigd.
• ○ Is er een gedegen en complete beschrijving van de procedure, waaruit blijkt dat de meetnauwkeurigheid op de juiste manier wordt berekend?
• ○ Is de verdeling van schattingsfouten op de vaardigheidsschattingen grafisch weergegeven, zowel voor de schaal waarop de referentieniveaus gegeven worden, als de schaal waarop de toetsadviezen gegeven worden?
• ○ Is de hoogte van de meetnauwkeurigheid rond de cesuurpunten van de referentieniveaus groter dan 0,70?
• ○ Is de hoogte van de meetnauwkeurigheid rond de cesuurpunten van de toetsadviezen groter dan 0,90?3Voor de berekening hiervan mag worden uitgegaan van een ongecorreleerde meetfout tussen de domeinen, zie ter illustratie de rapportage ‘Secundaire analyses eindtoetsen 2022’ van de Expertgroep toetsen PO (2022). Indien de hoogte van de meetnauwkeurigheid rond een cesuurpunt van een toetsadvies niet groter is dan 0,90, moet de toetsaanbieder voldoende verantwoorden waarom het behalen van een meetnauwkeurigheid groter dan 0,90 niet mogelijk was en hoe zij desondanks hebben getracht toch een meetnauwkeurigheid zo dicht als mogelijk richting 0,90 te realiseren.4In het beoordelingskader voor doorstroomtoetsen voor 2028 is het CvTE voornemens op te nemen dat de hoogte van de meetnauwkeurigheid rond de cesuurpunten van de toetsadviezen altijd groter moet zijn dan 0,90.
• a. De aanbieder hanteert jaarlijks een adequate verversingsstrategie voor de opgaven van de itembank. De toetsaanbieder geeft op gedegen en complete wijze aan hoeveel procent van de opgaven is ververst en onderbouwt dat de toegepaste vernieuwing voldoende is om overmatige blootstelling van items te voorkomen (exposure control).
• b. Items die uitgelekt lijken, moeten verwijderd worden. De toetsaanbieder geeft op gedegen en complete wijze aan hoeveel items er vermoedelijk zijn uitgelekt en hoeveel van deze items uit de itembank zijn verwijderd.
• c. Voor items die in het vorige jaar door het algoritme niet geselecteerd zijn, geeft de toetsaanbieder op gedegen en complete wijze aan, waarom deze niet of wel uit de itembank zijn verwijderd.
• 1. een inhoudelijke fout;
• 2. psychometrisch disfunctioneren;
• 3. DIF;
• 4. te weinig waarnemingen.
• – Pretest en operationele afname, indien pretestdata worden meegenomen in de kalibratie na operationele afname;
• – Operationele afnames, indien data van operationele afnames van de jaren hiervoor worden meegenomen in de kalibratie na operationele afname;
• – Schooltypes (regulier bo vs. s(b)o) indien van toepassing.
• – De DIF-analyses worden grafisch onderbouwd.
• – Een DIF-statistiek naar eigen keuze wordt toegepast en de resultaten worden onderbouwd.