Bijlage 1 Regeling beoordelingsnormen doorstroomtoetsen PO: de procedure om te komen tot de beoordelingsnormen van de doorstroomtoetsen

Regeling beoordelingsnormen doorstroomtoetsen PO

Bijlage behorende bij artikel 1 van de Regeling beoordelingsnormen doorstroomtoetsen PO De Regeling beoordelingsnormen doorstroomtoetsen po bevat algemeen verbindende voorschriften voor toetsaanbieders van een tot het stelsel toegelaten doorstroomtoets po. De Regeling beoordelingskader doorstroomtoetsen po schrijft voor dat een toets alleen zal worden erkend als de procedure om te komen tot de beoordelingsnormen van de doorstroomtoets wordt gevolgd. De Regeling Beoordelingsnormen Doorstroomtoetsen po beschrijft de inhoud en de processtappen van de volgende sleutelonderdelen, met verwijzing naar de paragrafen met kwaliteitseisen zoals opgenomen in de Regeling beoordelingskader doorstroomtoetsen po: Ter voorbereiding op de landelijke (toetsoverstijgende) normering: De landelijke (toetsoverstijgende) normering (conform deze onderhavige Regeling beoordelingsnormen doorstroomtoetsen po). Na afronding van de landelijke (toetsoverstijgende) normering: Een doorstroomtoets wordt erkend door het CvTE voor een periode van vier jaar, mits deze voldoet aan de voorwaarden voor erkenning en de regeling beoordelingskader doorstroomtoetsen po. Jaarlijks zal het CvTE vaststellen of de in dat schooljaar aan te bieden erkende doorstroomtoets voldoet aan de criteria op basis waarvan de erkenning is verleend. De erkende doorstroomtoets is onderdeel van de jaarlijks door een adviseur uit te voeren landelijke normeringsprocedure zoals beschreven in deze Regeling Beoordelingsnormen. Als een doorstroomtoets niet (langer) aan de voorschriften van deze Regeling Beoordelingsnormen voldoet, kan de erkenning door het CvTE worden ingetrokken op grond van artikel 3a, vierde lid, van de Wet College voor toetsen en examens. Anker Het anker bestaat uit opgaven die in twee of meer toetsen worden opgenomen om verschillen in de moeilijkheidsgraad tussen de betreffende toetsen vast te kunnen stellen Ankerbank De bank met vastgestelde gezamenlijk ankeropgaven. Ankeropgave Een opgave in het anker Aspirant-a

• • Gezamenlijk anker
• • Datalevering toelatings- en doorstroomonderzoek
• • Het gezamenlijke anker is bij wet een instrument waar alle toetsaanbieders aan mogen bijdragen door het leveren van opgaven.
• • Het gezamenlijk anker wordt gebruikt om de toetsadviezen en de behaalde referentieniveaus voor Lezen, Taalverzorging en Rekenen van de verschillende doorstroomtoetsen te equivaleren.
• • Om de vergelijkbaarheid tussen de toetsen te vergroten is het belangrijk dat al vanaf een vroeg stadium in de opgaveconstructie er rekening mee wordt gehouden dat de opgaven met minimale aanpassingen weergegeven kunnen worden in alle toetsplatformen, en dat de opgaven inhoudelijk bij de reguliere opgaven van alle toetsen aansluiten.
• • Het gezamenlijk anker bevat opgaven die afneembaar zijn en onderwijskundig en psychometrisch passen bij alle doorstroomtoetsen.
• • Het gezamenlijk anker voor een bepaald afnamejaar is gebaseerd op het voor dat jaar geldende beoordelingskader, toetswijzer en toetsbesluit1Voor de meest recente publicaties zie www.toetsenpo.nl.
• • De toetsmatrijs is de basis voor het ontwikkelen van nieuwe gezamenlijk ankeropgaven en het samenstellen van de jaarset (zie paragraaf 2.4).
• • De toetsaanbieders zorgen voor geheimhouding van de gezamenlijk ankeropgaven. De inhoud van gezamenlijk ankeropgaven wordt alleen gedeeld via een speciaal hiervoor opgezette server, en dus niet via e-mail of online vergaderingen. Gecontroleerde exposure van de opgaven draagt ook bij aan de geheimhouding.
• • De toetsaanbieders accepteren ieder afnamejaar de jaarset van gezamenlijk ankeropgaven (zie ook 2.2.1D) en nemen dit volledig (d.w.z.: alle opgaven) op in hun toets.
• • De jaarsets van het gezamenlijk anker worden jaarlijks vernieuwd volgens de hieronder beschreven verversingsstrategie (zie 2.2.1F).
• • Het gezamenlijk anker wordt in iedere doorstroomtoets op een manier afgenomen zodat de prestatie op deze opgaven de potentie van leerlingen reflecteert.
• • Er bestaat een link tussen de verschillende jaarsets van het gezamenlijk anker. Dat betekent dat er in de jaarset ook ankeropgaven opgenomen zijn die in een eerdere afname gebruikt zijn.
• • Het CvTE stelt de jaarset van het gezamenlijk anker vast. Een jaarset kan daarna niet meer gewijzigd worden, tenzij na afname van het er aan voorafgaande jaar een opgave psychometrisch niet blijkt te functioneren als anker. De adviescommissie verifieert bij de vaststelling of het gezamenlijk anker voldoet aan de eisen zoals geformuleerd in deze regeling (zoals samenstelling e.d.).
• A. Toetsaanbieders leveren opgavemateriaal aan, wat vervolgens in de werkgroep gezamenlijk anker besproken wordt en indien nodig aangepast. Geselecteerde opgaven worden vervolgens in verhouding tot het aantal ingeschreven leerlingen verdeeld over de toetsen om gepretest te worden. Als de opgaven na de pretest aan de psychometrische eisen blijken te voldoen, kunnen de opgaven opgenomen worden in de ankerbank.
• B. Toetsaanbieders leveren reeds gepreteste opgaven aan. Dit kan uit hun reeds bestaande bank, of gericht geconstrueerd volgens de opdracht. De opgaven worden besproken in de werkgroep gezamenlijk anker en eventueel geselecteerd om in de ankerbank te worden opgenomen. Eventueel kunnen inhoudelijke aanpassingen voorgesteld worden. Bij grote aanpassingen zal het CvTE besluiten dat een opgave eerst opnieuw in een pretest moet worden opgenomen.
• • Ankeropgaven moeten voldoen aan de kwaliteitscriteria V2 en V3 van het beoordelingskader.
• • Ankeropgaven kunnen met minimale aanpassingen bij alle toetsaanbieders afgenomen worden conform de richtlijnen in paragraaf 2.3.4 (richtlijnen afname).
• • Ankeropgaven zijn lokaal onafhankelijk.
• • In alle ankeropgaven wordt gebruik gemaakt van interpunctie (starten met hoofdletter, eindigen met een punt).
• • Geen sleepvragen, cloze-items of opgaven met “aanklikken van zinsdelen”.
• • Meerkeuze-opgaven voldoen aan de eisen uit de Checklist voor het beoordelen van de kwaliteit van observatiecategorieën en toetsopgaven (CvTE, 2024).
• • Richtlijnen voor opgaven bij het onderdeel Lezen:
• ○ Altijd twee of meer opgaven per tekst
• ○ Bij voorkeur opgaven van twee of meer taakuitvoeringen per tekst
• • Richtlijnen voor opgaven bij het subdomein Taalverzorging:
• ○ Voor het onderdeel spelling niet-werkwoorden bestaat een set dictee-opgaven en een set niet-dictee-opgaven.
• • Op basis van pretestgegevens voldoen de ankeropgaven in ieder geval aan de volgende eisen:
• ○ P-waarde is lager dan 0,80 en groter dan 0,302Vooral bij Lezen, teksten, is het niet altijd haalbaar om hier precies aan te houden. Ook hier geldt dat dit een richtlijn is en pragmatisch en weloverwogen een keuze wordt gemaakt..
• ○ Opgaven hebben een rir groter dan 0,20
• • Binnen een jaarset van een vaardigheidsdomein hebben de opgaven voldoende spreiding in moeilijkheid zodat er betrouwbaar in een breed vaardigheidsgebied gemeten kan worden, en er moet voldoende spreiding in de inhoudelijke kenmerken zitten.
• • Wanneer reeds gepreteste aspirant-ankeropgaven aangeboden worden aan de werkgroep gezamenlijk anker moet bekend zijn hoe vaak en met hoeveel observaties deze opgaven eerder door de toetsaanbieder zijn afgenomen in een pretestsituatie.
• • Leesteksten worden niet meer dan twee jaar achter elkaar geselecteerd in een jaarset.
• • Labels worden toegekend door de ankerbankbeheerder en dienen eenduidig te zijn en niet veranderd te worden. Deze behoren geen informatie te bevatten (zoals een afnamejaar) en functioneren alleen ter identificering van de opgave.
• ○ Rekenen: AR0001, AR0002, enzovoort.
• ○ Taal: AT0001, AT0002, enzovoort.
• ○ Lezen: ALAA01, ALAA02, ALAB01, ALAB02, enzovoort. Twee letters na AL geven de tekst aan, numerieke sortering moet gelijk zijn aan de volgorde van de opgaven bij een tekst.
• • Er is een eenduidige omschrijving van typering/kenmerken van opgaven, gebaseerd op de toetsmatrijs.
• • Van iedere opgave worden op een centrale server de volgende gegevens bijgehouden:
• ○ De moederopgave in tekstvorm en eventuele bijbehorende afbeeldingen in hoge resolutie.
• ○ Afbeeldingen van kindopgaven van alle toetsaanbieders en afnamejaren.
• ○ Klassieke psychometrische gegevens zoals bekend uit de pretest.
• • Per toetsaanbieder en afnamejaar worden klassieke psychometrische gegevens en IRT-kenmerken bijgehouden.
• • De ankerbank wordt regelmatig gecontroleerd op actualiteit door de ankerbeheerder in samenspraak met de werkgroep gezamenlijk anker, eventueel voortschrijdend inhoudelijk inzicht of veranderingen in technische mogelijkheden.
• • De jaarset van het gezamenlijk anker kan integraal worden opgenomen in een aparte toetsvariant of in deelsets verdeeld zijn over verschillende afnamevarianten. Het is daarbij een vereiste dat de verschillende afnames van het gezamenlijk anker bij een toetsaanbieder ook via een intern anker zijn gekoppeld aan de rest van de afname(varianten) zodat er een verbonden design ontstaat wat met de gefixeerde jaarset van het gezamenlijk anker gekalibreerd kan worden.
• • Het gezamenlijk anker wordt voorgelegd aan een steekproef van leerlingen uit het regulier basisonderwijs die representatief is voor de toetsaanbieder van de doorstroomtoets. In het geval dat deelsets worden voorgelegd dient iedere deelset aan een representatieve steekproef voorgelegd te worden.
• • Iedere ankeropgave wordt aan tenminste 1.000 leerlingen voorgelegd.
• • De ankeropgaven zijn zodanig over de toets verspreid dat de positie minimale invloed heeft op de prestatie van de leerlingen op deze opgaven. Concreet betekent dit dat de ankeropgaven niet helemaal voorin of achterin de toets geplaatst zijn op een bepaalde afnamedag of toetstaak3Zie ook toelichting T2 in Regeling beoordelingskader doorstroomtoets PO..
• • De ankeropgaven vallen qua inhoud en vormgeving niet herkenbaar op tussen de reguliere opgaven in de toets. Ze worden niet in een afwijkend blok afgenomen maar vermengd met reguliere opgaven van hetzelfde vaardigheidsdomein.
• • Toetsaanbieders kunnen minimale aanpassingen doen in de ankeropgaven om deze afneembaar te maken voor hun eigen doorstroomtoets en ze beter te integreren, mits goedgekeurd door het CvTE. Dit kan zijn: Deze lijst kan verder uitgebreid en geconcretiseerd worden. Ook kan deze lijst aangevuld worden met aanpassingen die niet doorgevoerd mogen worden, omdat is gebleken dat een dergelijke aanpassing tot DIF kan leiden. Dit zal gaandeweg gebeuren binnen de werkgroep gezamenlijk anker. De aanpassingen mogen geen itembias tot gevolg hebben. De gemaakte afspraken worden vastgelegd in een overzicht werkafspraken met de toetsaanbieders.
• ○ Aanpassingen in lay-out zodat de opgave past in de toetsvorm of de afnamespeler van toetsaanbieder.
• ○ Kleine tekstuele wijzingen in tekst ter bevordering van consistentie over de toets.
• ○ Kleine wijzigingen in de opmaak van afbeeldingen ten behoeve van de consistentie.
• • De gezamenlijk ankeropgaven tellen mee in de vaardigheidsschattingen en totaalscores van de leerlingen4Zie ook hoofdstuk 3 uit bijlage 1 uit de Regeling beoordelingsnormen doorstroomtoetsen PO., tenzij de opgaven na analyse afgekeurd zijn bij de kalibratie t.b.v. de landelijke normering zoals omschreven in 2.2.1E.
• • Iedere jaarset van het gezamenlijk anker bevat voor ieder verplicht onderdeel 20 opgaven.
• • Binnen ieder domein bestaat de jaarset uit een gelijke verhouding opgaven van referentieniveau 1F en 2F (voor Taalverzorging en Lezen) /1S (voor Rekenen).
• • Eén bestand met leerlinggegevens.
• • Voor ieder onderdeel een apart bestand met scoringsgegevens.
• • Eén bestand met p-waarden en aantal observaties van de items die opgenomen zijn in de analysedata (ter controle). Itemcodes dienen uniek te zijn over onderdelen heen.
• • Representativiteitsgegevens in de vorm van alle bekende schooladviezen.
• • Zijn alle bestanden aanwezig met de juiste namen en kolommen?
• • Zijn leerlingidentificatiecodes uniek?
• • Zijn alle onderwijstypes toegestaan?
• • Zijn opgaven per leerling uniek?
• • Kloppen de p-waarden en aantallen observaties met het controlebestand?
• • Bevat ieder verplicht onderdeel ankeropgaven? (labels conform parameterbestand)
• • Is het design verbonden?
• • Check op correcte leerlingkoppeling door correlatiecoëfficiënten van verschillende onderdelen uit te rekenen. Bij een correlatie lager dan 0,4 koppelt de adviseur terug aan de toetsaanbieder dat er een lage correlatie is geconstateerd, met het verzoek de koppeling op leerlingniveau te controleren. Wanneer de toetsaanbieder aangeeft dat de lage correlatie correct is zal de adviseur de normering uitvoeren op de aangeleverde data.
• 1. kalibratie gezamenlijk ankeropgaven
• 2. doorrekening normering
• 3. toepassing normering
• – de opgave minder dan 200 observaties heeft;
• – er sprake is van een item met slechts één responscategorie
• – de opgave een discriminatieparameter in een initiële kalibratie van het 2PL-model heeft van a < 0.1 en a > 10.
• 1. Een kleinschalige inzet vanwege een gelokaliseerde calamiteit, minder dan 1.000 leerlingen.
• 2. Een grootschalige inzet met hoge leerlingaantallen.
• • Scheidingsteken “;”
• • Teksten zonder aanhalingstekens
• • Decimaalscheidingsteken: komma
• • Eerste regel bevat kolomnamen
• • [YYYYMMDD] = datum aanmaak bestand
• • Selectie: alle leerlingen eindtoets/doorstroomtoets van afgelopen 3 kalenderjaren
• • [Toetssoort] = uit waardelijst “Toetssoort”
• • [YYYYMMDD] = datum aanmaak bestand