Bijlage 1 Regeling beoordelingskader doorstroomtoets PO Bonaire: beoordelingskader voor de doorstroomtoets PO Bonaire

Regeling beoordelingskader doorstroomtoets PO Bonaire

Bijlage behorende bij artikel 1 van de Regeling beoordelingskader doorstroomtoets PO Bonaire. Aanbieder aanbieder van een doorstroomtoets. Absolute normen standaarden waaraan de vaardigheidsniveaus van leerlingen gerelateerd kunnen worden. Deze standaarden worden vastgesteld op basis van inhoudelijke en/of toetsspecifieke criteria. Afnemer een afnemer van een toets zoals een leerkracht, intern-begeleider, directeur of observator. Algoritme (beslisregel) systeem van regels, logische of wiskundige handelingen, die als stappenplan gelden en kunnen worden uitgevoerd om tot een bepaald resultaat te komen. Anker bestaat uit opgaven die in twee of meer toetsen worden opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende toetsen vast te kunnen stellen. Ankeropgaven een opgave in het anker. A-parameter geeft bij een 2PL itemresponsmodel het discriminerend (onderscheidend) vermogen van een item weer. Hoe hoger het onderscheidend vermogen, hoe beter het item onderscheid maakt tussen lage en hoge vaardigheidsniveaus. In de praktijk worden de waarden relatief – d.w.z. tussen de items onderling – bekeken: hoe hoger de waarde van een bepaald item, hoe hoger het onderscheidend vermogen ten opzichte van de andere items. A-waarde is de proportie leerlingen die, of het percentage leerlingen dat, bij een meerkeuzevraag de desbetreffende afleider als antwoord heeft gekozen. Beoordelaarsovereenstemming de mate waarin verschillende beoordelaars tot identieke beoordelingen komen van (bijvoorbeeld) het werk van leerlingen. Twee veel gebruikte maten voor beoordelaarsovereenstemming zijn het percentage overeenstemming tussen twee beoordelaars en Cohen's Kappa. Betrouwbaarheid de mate waarin de toetsscores – op groepsniveau – vrij zijn van toevallige meetfouten. B-parameter verwijst over het algemeen naar de parameter in itemresponsmodellen die betrekking heeft op de moeilijkheidsgraad van een item. Can do-beschrijving (statement) is een beschrijving in het Europees referenti

• ○ Een aanbiedingsbrief met daarin het KvK-nummer van de toetsaanbieder en de officiële naam van de toetsaanbieder en het aangeboden instrument;
• ○ Een ingevuld door het CvTE beschikbaar gestelde model voor een leeswijzer1Indien een aanbieder ervoor kiest om de volgorde van de kwaliteitscriteria uit het beoordelingskader als uitgangspunt voor één verantwoordingsdocument te nemen, hoeft de aanbieder geen aanvullende leeswijzer in te dienen. met daarin uiteengezet in welk aangeleverd document en hoofdstuk een kwaliteitscriterium uit het beoordelingskader wordt verantwoord;
• ○ Toets met bijbehorende ondersteunende materialen voor de gebruiker (inclusief beschikbare versie(s) voor leerlingen met ondersteuningsbehoeften). De aanbieder wordt gevraagd om alle toetsopgaven inzichtelijk aan te leveren. Daaronder vallen alle items van de doorstroomtoets zelf én ankeropgaven en eventuele zaai-opgaven;
• ○ Itemlijst met itemgegevens (volgnummer, itemcode, (sub)domein, can do-statement, itemtype, sleutel en/of scoringsregels, kenmerk van de taakuitvoering, referentie-/ERK-niveau, ankertype (intern)) en indien van toepassing vermelden in welk jaartal een item in de itembank is opgenomen, aangeven of en wanneer de items zijn aangeboden voor de onderwijskundige opgaven feedbackservice (OOF) en indien items al eerder zijn afgenomen in operationele setting deze afnamejaren vermelden;
• ○ Praktische handleiding voor leerkrachten;
• ○ Wetenschappelijke en inhoudelijke verantwoording, inclusief de psychometrische aspecten van de doorstroomtoets, zoals beschreven in Hoofdstuk 5 van deze regeling en zoals beschreven in de Regeling Beoordelingsnormen Doorstroomtoets po Bonaire.
• ○ Toetsreglement van de betreffende toets;
• ○ Informatie over de toetsinhoud en de afnamevorm;
• ○ Voorbeeld leerlingrapportage en eventueel andere rapportages;
• ○ Toetsveiligheidsplan;
• ○ Actieplan hoe om te gaan met diefstal van toetsinhoud;
• ○ Fraudepreventieplan;
• ○ Calamiteitenplan;
• ○ Indien van toepassing: Cd's, dvd's en/of usbsticks en log-ins en wachtwoorden;
• ○ Indien van toepassing: Antwoordformulieren;
• ○ Indien van toepassing: ISO-certificaat inclusief een verklaring van toepasbaarheid (c.q. de scope van het certificaat).
• ○ Toetsboeken (digitaal aanleveren volstaat) inclusief ankeropgaven en eventuele zaai-opgaven.
• ○ Inlogmogelijkheid als leerling en als administrator (scrollen zonder antwoorden in te vullen, toets onderbreken en op later tijdstip te hervatten);
• ○ Mogelijkheid alle items te kunnen inzien inclusief ankeropgaven en eventuele zaai-opgaven;
• ○ Mogelijkheid om items per inhoudsgebied te bekijken.
• ○ Inlogmogelijkheid als leerling en als administrator (scrollen zonder antwoorden in te vullen, toets onderbreken en op later tijdstip te hervatten);
• ○ Mogelijkheid alle items te kunnen inzien inclusief ankeropgaven en eventuele zaai-opgaven;
• ○ Mogelijkheid om items per inhoudsgebied te bekijken;
• ○ Mogelijkheid om items per module te bekijken;
• ○ Mogelijkheid om items in (bij voorkeur verschillende) toetspaden te bekijken.
• ○ Inlogmogelijkheid als leerling en als administrator (scrollen zonder antwoorden in te vullen, toets onderbreken en op later tijdstip te hervatten);
• ○ Mogelijkheid alle items te kunnen inzien inclusief ankeropgaven en eventuele zaai-opgaven;
• ○ Mogelijkheid om items per inhoudsgebied te bekijken;
• ○ Mogelijkheid om items in (bij voorkeur verschillende) toetspaden te bekijken.
• ○ Mogelijkheid om een aantal voorbeelditems te bekijken waarbij een duidelijk beeld wordt gegeven van de aanpassing, zoals items met gebarentaal of aanpassing van de kleuren en/of contrast.
• – H.3. Onderwijskundige aspecten
• – H.4. Organisatorische aspecten
• – H.5. Psychometrische aspecten
• ○ de wettelijk verplichte domeinen Getallen, Verhoudingen, Meten en Meetkunde en Verbanden van het terrein Rekenen;
• ○ de wettelijk verplichte (sub)domeinen Lezen en Taalverzorging, én de optionele domeinen Schrijven en Mondelinge taalvaardigheid en het eveneens optionele aspect Woordenschat van het terrein Papiamentu;
• ○ de wettelijk verplichte taalactiviteiten receptief Lezen (inclusief het aspect woordenschat) en receptief Luisteren en kijken, én de optionele productieve en interactieve taalactiviteiten, taalcompetenties en taalstrategieën van het terrein Nederlands als vreemde taal.
• ○ de wettelijk verplichte domeinen van het terrein Rekenen;
• ○ de wettelijk verplichte (sub)domeinen Lezen en Taalverzorging van het terrein Papiamentu, en de – indien van toepassing – optionele (sub)domeinen;
• ○ de wettelijk verplichte taalactiviteiten receptief lezen (inclusief het aspect woordenschat) en receptief luisteren en kijken van het terrein Nederlands als vreemde taal, en de – indien van toepassing – optionele productieve en interactieve taalactiviteiten, taalcompetenties en taalstrategieën.
• ○ de leerdoelen zijn geoperationaliseerd in observeerbare en meetbare toetstermen die ieder voor zich aansluiten bij de beschrijvingen en indeling van de referentie- en ERK- niveaus voor de wettelijk verplichte en, indien van toepassing, optionele (sub)domeinen, taalactiviteiten, taalstrategieën en taalcompetenties van de terreinen Rekenen, Papiamentu en Nederlands als vreemde taal;
• ○ de toetsmatrijs in ieder geval bevat: (1) het aantal vragen met bijbehorende scorepunten per vraag, (2) de toetsvorm en/of het type vragen, (3) de verdeling over de (sub)domeinen, taalactiviteiten, taalstrategieën en taalcompetenties, (4) de verdeling van de verschillende vraag- en teksttypes in de toets, (5) de verdeling over de referentie- en ERK-niveaus.
• ○ in het geval van een CAT dat de aanbieder verantwoordt hoe de wettelijk verplichte en, indien van toepassing, optionele (sub)domeinen, taalactiviteiten, taalstrategieën en taalcompetenties van de terreinen Rekenen, Papiamentu en Nederlands als vreemde taal op representatieve wijze voor alle individuele leerlingen aan bod komen.
• ○ de wettelijk verplichte domeinen van het terrein Rekenen;
• ○ de wettelijk verplichte (sub)domeinen Lezen en Taalverzorging van het terrein Papiamentu, en de – indien van toepassing – optionele (sub)domeinen;
• ○ de wettelijk verplichte taalactiviteiten receptief lezen (inclusief het aspect woordenschat) en receptief luisteren en kijken van het terrein Nederlands als vreemde taal, en de – indien van toepassing – optionele productieve en interactieve taalactiviteiten, taalcompetenties en taalstrategieën.
• 1. de toetsopgave wordt verwijderd;
• 2. de toetsopgave wordt aangepast (minimale aanpassing met weinig impact);
• 3. de toetsopgave wordt – op basis van de inhoudelijke en/of psychometrische onderbouwing – goedgekeurd.
• A. Notatie, taal en betekenis, waarbij het gaat om de uitspraak, schrijfwijze en betekenis van getallen, symbolen en relaties en om het gebruik van wiskundetaal.
• B. Met elkaar in verband brengen, waarbij het gaat om het verband tussen begrippen, notaties, getallen en dagelijks spraakgebruik.
• C. Gebruiken, waarbij het er om gaat rekenkundige vaardigheden in te zetten bij het oplossen van problemen.
• 1. Taken: van L1.1 t/m L1.3 moeten tenminste twee van de drie vragen met JA worden beantwoord. Van L5.1 en L5.2 moet tenminste één van de twee vragen met JA worden beantwoord.
• 2. Tekstkenmerken: vraag L2.1, L.2.2 en L6 moeten met JA worden beantwoord.
• 3. Kenmerken van de taakuitvoering: alle vragen (L3.1 t/m L3.7a en L7.1 t/m L7.4a) moeten met JA of N.V.T. worden beantwoord.
• 4. Opgavenkenmerken: vraag L4 en L8 moeten met JA worden beantwoord.
• 1. Taken: S1.1 moet met JA worden beantwoord. van S1.2 t/m S1.5 moeten tenminste drie van de vier vragen met JA worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen bij S2 moeten met JA worden beantwoord.
• 3. Opgavenkenmerken: de vraag S3 moet met JA worden beantwoord.
• 1. Taken: S4.1 en S4.2 moeten met JA worden beantwoord. Van S4.3 en S4.4 moet tenminste één van de twee vragen met JA worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen bij S5 moeten met JA worden beantwoord.
• 3. Opgavenkenmerken: de vragen S6.1 en S6.2 moeten met JA worden beantwoord.
• 1. Taken: van M1.1 t/m M1.3 moeten twee van de drie vragen met JA worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen M2.1 t/m M2.5 moeten met JA worden beantwoord. M2.6 mag met JA of NEE worden beantwoord.
• 3. Opgavenkenmerken: de vraag M3 moet met JA worden beantwoord.
• 1. Taken: van M4.1 t/m M4.4 moeten twee van de vier vragen met JA worden beantwoord (taak is minimaal één keer aanwezig).
• 2. Kenmerken van de taakuitvoering: de vragen M5.1 t/m M5.6 moeten met JA worden beantwoord. M5.7 mag met JA of NEE worden beantwoord.
• 3. Opgavenkenmerken: de vraag M6 moet met JA worden beantwoord.
• 1. Taken: van M7.1 t/m M7.3 moeten twee van de drie vragen met JA worden beantwoord (taak is minimaal één keer aanwezig).
• 2. Kenmerken van de taakuitvoering: de vragen M8.1 t/m M8.6 moeten met JA worden beantwoord. M8.7 mag met JA of NEE worden beantwoord.
• 3. Opgavenkenmerken: de vragen bij M9 moet met JA worden beantwoord.
• 1. Taken: van M10.1 t/m M10.4 moeten drie van de vier vragen met JA worden beantwoord (taak is minimaal één keer aanwezig).
• 2. Tekstkenmerken: de vragen bij M11 moeten met JA worden beantwoord.
• 3. Kenmerken van de taakuitvoering: de vragen M12.1 t/m M12.3 moeten met JA worden beantwoord. M12.4 mag met JA of NEE worden beantwoord.
• 4. Opgavenkenmerken: de vraag M13 moet met JA worden beantwoord.
• 1. Taken: minimaal 2 van de 4 vragen bij M14 moeten met JA worden beantwoord.
• 2. Kenmerken van de taakuitvoering: de vragen M15.1 t/m M15.7 moeten met JA of N.V.T. worden beantwoord. M15.8 mag met JA of NEE worden beantwoord.
• 3. Opgavenkenmerken: de vragen bij M16 moeten met JA worden beantwoord.
• 1. Opgavenkenmerken: de vragen W1 t/m W4 moeten met JA worden beantwoord.
• 1. Taken: van LZ1.1 t/m LZ1.4 moeten tenminste drie van de vier vragen met JA worden beantwoord.
• 2. Tekstkenmerken: de vragen bij LZ2.1 en LZ2.2 dienen met JA te worden beantwoord. Bij LZ2.3 t/m LZ2.6 moeten tenminste drie van de vier vragen met JA worden beantwoord.
• 3. Opgavenkenmerken: Bij LZ3.1 t/m LZ3.4 moeten tenminste drie van de vier vragen met JA worden beantwoord.
• 1. Taken: van de vragen WO1.1 t/m WO1.4 moeten 3 van de 4 vragen met JA worden beantwoord. Van de vragen WO1.5 t/m WO1.8 moeten ook 3 van de 4 vragen met JA worden beantwoord.
• 2. Tekstkenmerken: Indien een vraag bij WO1 met JA is beantwoord, moet de congruerende vraag bij WO2 ook met JA worden beantwoord. De eventuele overige vraag kan met NEE worden beantwoord.
• 3. Opgavenkenmerken: Indien een vraag bij WO1 met JA is beantwoord, moet de congruerende vraag bij WO3 ook met JA worden beantwoord. De eventuele overige vraag kan met NEE worden beantwoord.
• 1. Taken: van LU1.1 t/m LU1.5 moeten tenminste vier van de vijf vragen met JA worden beantwoord.
• 2. Tekstkenmerken: van LU2.1 t/m LU2.5 moeten tenminste vier van de vijf vragen met JA worden beantwoord. De vragen bij LU2.6 en LU2.7 moeten met JA worden beantwoord.
• 3. Opgavenkenmerken: van LU3.1 t/m LU3.5 moeten tenminste vier van de vijf vragen met JA worden beantwoord.
• 1. Taken: van de vragen WL1.1 t/m WL1.5 moeten 4 van de 5 met JA worden beantwoord.
• 2. Tekstkenmerken: indien een vraag bij WL1 met JA wordt beantwoord, moet de congruerende vraag bij WL2 ook met JA worden beantwoord. De eventuele overige vraag kan met NEE worden beantwoord.
• 3. Opgavenkenmerken: indien een vraag bij WL1 met JA wordt beantwoord, moet de congruerende vraag bij WL3 ook met JA worden beantwoord. De eventuele overige vraag kan met NEE worden beantwoord.
• 1. Taken: van SP1.1 t/m SP1.5 moeten tenminste twee van de vijf vragen met JA worden beantwoord.
• 2. Opgavenkenmerken: indien de vraag bij de subcategorie met spreekactiviteit bij SP1 met JA is beantwoord, moeten de corresponderende vragen bij SP2 ook met JA worden beantwoord.
• 1. Taken: de vragen bij GS1 moeten met JA of NEE worden beantwoord.
• 2. Gesprekskenmerken: indien de vraag bij de subcategorie met gespreksactiviteit bij GS1 met JA is beantwoord, moet de corresponderende vraag bij GS2 ook met JA worden beantwoord.
• 1. Taken: de vragen bij SR1.1 t/m SR1.2 moeten met JA worden beantwoord. De vragen bij SR1.3 en SR1.4 moeten met JA of NEE worden beantwoord.
• 3. Opgavenkenmerken: de vragen bij SR2.1 t/m SR2.4 moeten met JA worden beantwoord. Indien de vraag bij de subcategorie met schrijfactiviteit bij SR1.3 of SR1.4 met JA is beantwoord, moeten de corresponderende vragen bij SR2.5 t/m SR2.8 ook met JA worden beantwoord.
• 1. Taken: de vragen bij SA1 moeten met JA of NEE worden beantwoord.
• 2. Opgavenkenmerken: indien de vraag bij de strategie bij SA1 met JA is beantwoord, moet de corresponderende vraag bij SA2 ook met JA worden beantwoord.
• 1. Taken: de vragen bij CO1 moeten met JA of NEE worden beantwoord.
• 2. Opgavenkenmerken: indien de vraag bij de taalcompetentie bij CO1 met JA is beantwoord, moet de corresponderende vraag bij CO2 ook met JA worden beantwoord.
• ○ De aanbieder neemt bij het maken van de toets zoveel mogelijk elementen op die zorgen dat de toets voor alle leerlingen (digitaal) toegankelijk is. Waar mogelijk worden de richtlijnen uit de WCAG 2.1 toegepast. Bij de itemconstructie wordt generiek minstens op de volgende wijze rekening gehouden met (digitale) toegankelijkheid: richtlijnen voor kleurgebruik en contrast bij items, richtlijnen met betrekking tot een ondubbelzinnige lay-out en tekstuele vormgeving, richtlijnen met betrekking tot figuurlijk taalgebruik (als dat geen toetsdoel is) en richtlijnen met betrekking tot het gebruik van ik, gebiedende wijs en vraagzinnen.
• ○ De toets kent geen tijdslimiet en het is mogelijk om pauzes te nemen.
• ○ De toets voorziet in een voorleesfunctie. De wijze waarop kan per toets(soort) verschillen.
• ○ A2.1: Hoe moet de schooldirecteur (of andere verantwoordelijke) de leerlingen voor de toets aanmelden?
• ○ A2.2: Welke hulpmiddelen mogen de leerlingen wel én niet gebruiken?
• ○ A2.3: Hoe en wanneer scholen incidenten voor, tijdens en na de afname bij de toetsaanbieder kunnen en moeten melden?
• ○ A2.4: Welke voorwaarden worden er gesteld aan de (wijze van) geheimhouding van de toetsopgaven door de schooldirecteur (of andere verantwoordelijke) en de afnemers?
• ○ A2.4: Welke voorwaarden zijn er verbonden aan de wijze waarop toezicht op de leerlingen moet worden gehouden?
• ○ A2.5: Op welke wijze worden de toetsopgaven aan het bevoegd gezag ter beschikking gesteld?
• ○ A2.6: Op welke wijze worden de toetsopgaven aan het bevoegd gezag ter beschikking gesteld?
• ○ A2.7: Wat zijn de eisen waar de ICT omgeving (computerconfiguratie) op de school aan moet voldoen om de digitale toets af te kunnen nemen? Deze kwaliteitseis is niet van toepassing indien de ingediende toets niet digitaal wordt afgenomen.
• 1. Pretestprocedure voor het valideren van nieuw geconstrueerde items, uit te voeren door de toetsaanbieder en bestaande uit:
• a. Steekproefkader en samenstelling steekproef (paragraaf 5.2.1);
• b. Kalibratie en kwaliteit van items (paragraaf 5.2.2);
• c. Toetssamenstelling na pretest (paragraaf 5.2.3).
• 2. Normering, uit te voeren zoals beschreven in de separate Regeling Beoordelingsnormen Doorstroomtoets po Bonaire, en bestaande uit:
• a. Het door de toetsaanbieder aanleveren van de ruwe itemscores en de analyses, waarna een adviseur deze controleert;
• b. Toepassen van cesuren van referentieniveaus en toetsadviezen.
• c. Het door de toetsaanbieder vaststellen van de behaalde referentie- en ERK-niveaus en het toetsadvies per leerling.
• 3. Beoordeling van de kwaliteit en het functioneren van de doorstroomtoets (rapportage achteraf) zoals beschreven in de eisen KF1 t/m KF4, Hoofdstuk 5.4, te verwerken tot één rapportage.
• ○ Doel A (basis-kwaliteitscontrole): dataverzameling van nieuwe items ten behoeve van een basis-kwaliteitscontrole. Hierbij wordt onder andere de itemkwaliteit geëvalueerd aan de hand van itemstatistieken uit de klassieke testtheorie. Na de dataverzameling selecteert de toetsaanbieder de items die in aanmerking komen voor gebruik in de operationele toets.
• ○ Doel B (basis-kwaliteitscontrole + additionele dataverzameling): in aanvulling op bovenstaande beschrijving van doel A worden bij dit doel aanvullend de verzamelde data gebruikt in de kalibratie na de operationele afname. Dat is vooral relevant bij een MST of CAT, waarbij de afname niet zo ingericht kan zijn dat van te voren bepaald kan worden dat de opgaven door voldoende leerlingen gemaakt zullen worden. Voor een MST of een CAT wordt deze dataverzameling gebruikt voor het schatten van itemparameters ten behoeve van de adaptieve module.
• ○ Scenario 1: de aanbieder neemt een aparte proeftoets af bij een representatieve steekproef waarin de items worden afgenomen onder omstandigheden die vergelijkbaar zijn met de operationele afname.
• ○ Scenario 2: nieuwe items worden gezaaid in de operationele afname. Items mogen voor een leerling niet herkenbaar zijn als zaai-item.
• ○ de gekloonde opgave een relatie heeft met een ander of gewijzigd leerdoel;
• ○ de gekloonde opgave naar verwachting een andere of gewijzigde moeilijkheidsgraad heeft;
• ○ de gekloonde opgave naar een ander of gewijzigd modelantwoord leidt.
• 1) Er is aangegeven hoe de steekproef getrokken is;
• 2) Er is aangegeven onder welke omstandigheden de data verzameld zijn;
• 3) Er is aangegeven hoe de steekproef zich verhoudt tot de toetspopulatie;
• 4) Er is aangegeven of en hoeveel S(B)O scholen hebben mee gedaan.
• ○ het totaal aantal boekjes (‘booklets’);
• ○ aantal observaties per boekje;
• ○ het aantal items dat tussen de opgavenboekjes onderling overlapt;
• ○ het aantal items, en de kwaliteit van de items, dat de pretest verbindt met de bestaande schaal.
• ○ de moeilijkheidsgraad is passend voor het meetdoel en de doelgroep (d.w.z. voor lineaire toetsen vergelijkbaar met een p-waarde tussen de gokkans en 0,95 en voor adaptieve toetsen passend bij de moeilijkheidsgraad van het betreffende design en/of toetspad);
• ○ het discriminerend vermogen is vergelijkbaar met een rir-waarde > 0,15, rekening houdend met de beperkte vaardigheidsrange van de leerlingen in het geval van een adaptieve toets;
• ○ de kwaliteit van de afleiders van meerkeuze-opgaven wordt geëvalueerd middels a- en rar-waarden. Deze moet de aanbieder presenteren. Bij het selecteren van een item met een rar-waarde > 0,05 moet de aanbieder voor dat item aangeven waarom dit item is meegenomen. Voor items die worden gepretest in een adaptieve pretest is het de aanbieder toegestaan om afleider-thetacorrelaties (IRT-variant op de klassieke rar-waarde waarbij theta is gebaseerd op de scores items minus het betreffende item) te berekenen, waarvoor 0,05 eveneens als grenswaarde geldt.
• ○ de interbeoordelaarsovereenstemming, in het geval van open vragen, vergelijkbaar is met een interbeoordelaarsovereenstemmingscoëfficiënt > 0,80.
• ○ Proeftoetsboekjes;
• ○ Eilanden;
• ○ Eventueel: Leerjaren.
• ○ De DIF-analyses worden grafisch onderbouwd.
• ○ Een DIF-statistiek naar eigen keuze wordt toegepast en de resultaten worden onderbouwd.
• 1. Hoe de toets wordt gestart;
• 2. Hoe de keuze voor een volgend item en wordt gemaakt;
• 3. Wanneer de toets wordt beëindigd (maximum aantal items en standard error).
• 1. Hoe de toets wordt gestart;
• 2. Hoe de keuze voor het volgende blokje wordt gemaakt;
• 3. Wanneer de toets wordt beëindigd.
• ○ Is er een gedegen en complete beschrijving van de procedure, waaruit blijkt dat de meetnauwkeurigheid op de juiste manier wordt berekend?
• ○ Is de verdeling van schattingsfouten op de vaardigheidsschattingen grafisch weergegeven, zowel voor de schaal waarop de (referentie)niveaus gegeven worden, als de schaal waarop de toetsadviezen gegeven worden?
• ○ Is de hoogte van de meetnauwkeurigheid rond de cesuurpunten van de referentieniveaus groter dan 0,70?
• ○ Is de meetnauwkeurigheid rond de cesuurpunten vergelijkbaar voor de verschillende cesuurpunten van de toetsadviezen?2Voor de berekening hiervan mag worden uitgegaan van een ongecorreleerde meetfout tussen de domeinen, zie ter illustratie de rapportage ‘Secundaire analyses eindtoetsen 2022’ van de Expertgroep toetsen PO (2022).
• a. De aanbieder hanteert jaarlijks een adequate verversingsstrategie voor de opgaven van de itembank. De toetsaanbieder geeft op gedegen en complete wijze aan hoeveel procent van de opgaven is ververst en onderbouwt dat de toegepaste vernieuwing voldoende is om overmatige blootstelling van items te voorkomen (exposure control).
• b. Items die uitgelekt lijken, moeten verwijderd worden. De toetsaanbieder geeft op gedegen en complete wijze aan hoeveel items er vermoedelijk zijn uitgelekt en hoeveel van deze items uit de itembank zijn verwijderd.
• c. Voor items die in het vorige jaar door het algoritme niet geselecteerd zijn, geeft de toetsaanbieder op gedegen en complete wijze aan, waarom deze niet of wel uit de itembank zijn verwijderd.
• 1. een inhoudelijke fout;
• 2. psychometrisch disfunctioneren;
• 3. DIF;
• 4. te weinig waarnemingen.
• ○ Pretest en operationele afname, indien pretestdata worden meegenomen in de kalibratie na operationele afname;
• ○ Operationele afnames, indien data van operationele afnames van de jaren hiervoor worden meegenomen in de kalibratie na operationele afname;
• ○ Schooltypes (regulier bo vs. s(b)o) indien van toepassing.
• ○ De DIF-analyses worden grafisch onderbouwd;
• ○ Een DIF-statistiek naar eigen keuze wordt toegepast en de resultaten worden onderbouwd.