Bijlage 1 Regeling beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen PO BES: beoordelingskader voor de toetsen behorende tot leerling- en onderwijs volgsystemen voor primair onderwijs op Bonaire, Sint Eustatius en Saba (BES)

Regeling beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen PO BES

Bijlage behorende bij artikel 1 van de Regeling beoordelingskader voor de toetsen behorende tot leerling- en onderwijsvolgsystemen PO BES. Scholen zijn ingevolge respectievelijk artikel 51a en 51b van de Wet primair onderwijs BES verplicht om in ieder geval gebruik te maken van door het CvTE erkende toetsen verbonden aan het LVS. Voor scholen op Saba en Sint Eustatius geldt die verplichting voor de terreinen Rekenen, Engels en Nederlands. Voor de scholen op Bonaire geldt de verplichting voor Rekenen, Papiamentu en Nederlands. Dit beoordelingskader is daarnaast ook toepasbaar op LVS-instrumenten voor het derde tot en met het achtste leerjaar voor de niet wettelijk verplichte terreinen. Scholen mogen ook LVS-instrumenten voor het derde tot en met het achtste leerjaar inzetten die niet door het CvTE goedgekeurd zijn voor de wettelijk verplichte terreinen, mits zij daarnaast ook door het CvTE erkende LVS-instrumenten voor het derde tot en met het achtste leerjaar gebruiken. Verder staat het scholen vrij om LVS-instrumenten van verschillende toetsaanbieders te combineren. Toetsaanbieders kunnen ook onderdelen van een LVS door het CvTE laten beoordelen. Het onderhavige beoordelingskader biedt criteria voor de kwaliteit van de toetsen behorende tot het LVS. Aanbieders van een LVS voor (ook) de eerste twee leerjaren kunnen hun instrument eveneens door het CvTE laten beoordelen. In dit beoordelingskader wordt een onderscheid gemaakt in vier typen instrumenten die kunnen worden ingezet om de leerling te volgen: Het CvTE beoordeelt alleen leerlingvolgsystemen die worden gebruikt in het onderwijs. Daar vallen dus geen screeningsinstrumenten onder die worden afgenomen bij individuele leerlingen om diagnoses te kunnen stellen door een zorgaanbieder. Een LVS bestaat uit observatie- en registratie instrumenten die in vier typen worden onderscheiden. De aanvraag voor erkenning van observatie- en registratie-instrument type (I) en (II) bevat de volgende kenmerken en bescheiden: Alvor

• Aanbieder: Een indiener van een leerlingvolgsysteem.
• Absolute normen: Standaarden waaraan de vaardigheidsniveaus van leerlingen gerelateerd kunnen worden. Deze standaarden worden vastgesteld op basis van inhoudelijke en/of toetsspecifieke criteria.
• Algoritme (beslisregel): Systeem van regels, logische of wiskundige handelingen, die als stappenplan gelden en kunnen worden uitgevoerd om tot een bepaald resultaat te komen.
• BES: Bonaire (B), Sint Eustatius (E) en Saba (S).
• Beoordelaarsovereenstemming: De mate waarin verschillende beoordelaars tot identieke beoordelingen komen van (bijvoorbeeld) het werk van leerlingen. Twee veel gebruikte maten voor beoordelaarsovereenstemming zijn het percentage van overeenstemming tussen twee beoordelaars en Cohen’s Kappa.
• Betrouwbaarheid: De betrouwbaarheid is de mate waarin de toetsscores vrij zijn van toevallige meetfouten.
• CAT: Een Computergestuurde adaptieve toets (CAT) op itemniveau, waarbij een item wordt gekozen die qua moeilijkheid het beste aansluit op de vaardigheid zoals ingeschat op basis van de antwoorden op de eerdere opgaven.
• (Referentie)Cesuur: De minimale prestatie (gerepresenteerd als vaardigheid of toetsscore) die net indicatief genoeg is voor het halen van een (referentie)niveau.
• Can do-beschrijving (statement): Is een beschrijving in het Europees Referentiekader van wat een taalgebruiker in de vreemde taal kan doen op een bepaald niveau.
• Constructvaliditeit: De eigenschap die een LVS-instrument heeft als kan worden aangetoond dat het instrument het door de constructeur beoogde kenmerk van de leerling (onderliggende trek, vaardigheid) meet. Deze wordt per kenmerk binnen een LVS bepaald.
• CvTE: College voor toetsen en examens
• DIF: Differentieel item functioneren (DIF) is een verschijnsel dat items verschillend functioneren voor bepaalde (sub)groepen leerlingen, zelfs wanneer deze (sub)groepen leerlingen een vergelijkbaar prestatieniveau hebben. Het gaat hierbij over de vraagonzuiverheid, dat wil zeggen wanneer de verschillen in de prestaties op het item tussen groepen niet geheel verklaard kunnen worden door verschillen in de (latente) vaardigheid die aan de opgave ten grondslag ligt.
• Discriminerend vermogen: De mate waarin op grond van de scores op een item hoog- en laagscorende leerlingen (op de hele toets) onderscheiden kunnen worden.
• Domein: Verzameling van onderling samenhangende kennis en vaardigheden waarover getoetst wordt.
• Effectgrootte: Statistische maat om de grootte van een effect weer te geven. Er wordt een onderscheid gemaakt tussen niet gestandaardiseerde (ruwe) effectgroottes en gestandaardiseerde effectgroottes. De bekendste gestandaardiseerde effectmaat is Cohen’s d. Deze maat geeft het verschil tussen twee gemiddelden in het aantal standaarddeviaties. Ook de correlatie kan worden gezien als een gestandaardiseerde maat voor de effectgrootte.
• ERK: Europees Referentiekader.
• Gebruiksdoel: Omschrijving van de beoogd te meten construct(en), doelgroep(en), oftewel een populatie, en functie(s) van het volgsysteem.
• IJken: Bij een observatie- of registratie-instrument worden de indicatoren van observeerbare (gedrags-)kenmerken van de ontwikkelingsdoelen en eventuele tussentijdse mijlpalen in het instrument voorzien van ijkpunten (in voorkomend geval referentiepunten). IJken is het volgens bepaalde regels omzetten van de periodieke registraties van geobserveerde gedragingen in een signaal waarmee de gebruiker kan vaststellen in welke mate een individuele leerling zich op een zeker moment een specifiek ontwikkelingsdoel eigen heeft gemaakt.
• Inhoudsvaliditeit: De eigenschap dat de operationalisering van de inhoud van het instrument een representatieve weergave is van de te observeren en te volgen ontwikkeling.
• IRT: Itemresponstheorie (IRT) is een theorie binnen de testleer waarbij op het niveau van items op een wiskundige manier een relatie wordt gelegd tussen de antwoorden die leerlingen geven en een onderliggende latente vaardigheid.
• KTT: De klassieke testtheorie is gebaseerd op een model waarbij men ervan uitgaat dat de waargenomen toetsscore (bijvoorbeeld het aantal correct) uit twee componenten bestaat: De meetfout is geheel toevallig en hangt daarom met geen enkele andere variabele samen. Dit model wordt ook wel het klassieke testmodel genoemd. Alle eigenschappen die volgen uit dit model vormen gezamenlijk de klassieke testtheorie.
• (1) een ware score en
• (2) een toevallige meetfout.
• Leerdoel: Het beoogde resultaat van onderwijsactiviteiten. Als het beoogde leerresultaat wordt geformuleerd in termen van uiterlijke condities en waarneembaar leerlinggedrag spreekt men van ‘concrete leerdoelen’ of ‘gedragsdoelen’. Als het beoogde leerresultaat wordt geformuleerd in termen van cognitief gedrag of van cognitieve structuren, spreekt men van cognitieve leerdoelen.
• LVS: Het (leerling)volgsysteem (LVS) betreft een systeem met onderliggende data waarmee de ontwikkeling van de leerling kan worden gevolgd over de tijd heen en waarmee kan worden geïnterpreteerd in hoeverre deze ontwikkeling in lijn is met de leerdoelen van de verschillende leerjaren en, vanaf groep 3, met de ontwikkeling van de andere leerlingen uit hetzelfde leerjaar. Er is sprake van een volgaspect wanneer een aantal (twee of meer) verschillende observatiemomenten op hetzelfde construct plaatsvinden; de afnamemomenten kunnen daarbij vast of variabel zijn.
• Lokale betrouwbaarheid: De mate waarin de toetsscores op een specifiek deel van de meetschaal vrij zijn van toevallige meetfouten.
• Module: Set van items in een multistage toets (MST), vaak van vergelijkbare moeilijkheid.
• Moeilijkheidsgraad: In hoeverre leerlingen uit de doelpopulatie in staat zijn om de vraag of vragen goed te beantwoorden. De moeilijkheid wordt meestal uitgedrukt met een p-waarde.
• MST: Een multistage toets (MST) is een adaptieve toets op moduleniveau, die via een algoritme het niveau van de leerling bepaalt op basis van diens antwoorden op een set opgaven (module). Daarna krijgt de leerling een nieuwe set opgaven (module), afgestemd op het eerder bepaalde niveau.
• Normeren: Het toekennen van een waardering aan een behaalde score. Onderdeel van het normeren is het vaststellen van de cesuren.
• Populatie: Een populatie is een verzameling van vooraf gedefinieerde eenheden waarover men met behulp van statistisch onderzoek uitspraken wil doen.
• Pretesten/Proeftoetsen: Het afnemen van een aantal opgaven bij een groep leerlingen, meestal met het doel de eigenschappen van het LVS-instrument te onderzoeken. Deze groep leerlingen is zoveel mogelijk vergelijkbaar met de populatie waarvoor het LVS-instrument oorspronkelijk is ontwikkeld.
• P-waarde: Is een getal tussen 0 en 1 waarmee de moeilijkheidsgraad van een opgave kan worden weergegeven. De p-waarde wordt berekend door de gemiddelde score op een opgave te delen door de maximaal haalbare score op die opgave. De p-waarde voor een meerkeuzevraag is gelijk aan het deel van de leerlingen die het juiste antwoord heeft gekozen.
• Referentiekader: Een beschrijving van wat leerlingen op verschillende momenten in hun schoolloopbaan moeten kennen en kunnen.
• Referentieniveaus: Beschrijvingen van beheersingsdoelen die aangeven wat leerlingen moeten kennen en kunnen op verschillende momenten tijdens een schoolloopbaan.
• Relatief beoordelen: Het rapporteren op basis van relatieve normen.
• Relatieve normen: Relatieve normen plaatsen de leerling op een schaal die betrekking heeft op de relatieve positie van een leerling in een specifieke, goed gedefinieerd populatie (zie gebruiksdoel). Een relatieve norm is derhalve gebaseerd op een onderlinge vergelijking van de toetsprestaties van de kandidaten binnen die populatie.
• Schaal: Een reeks getallen die volgens een bepaald voorschrift gekoppeld worden aan waarnemingen.
• Signaleringsfunctie: De functie van een toets die de leerkracht helpt aan te zetten tot handelen om de leerling te helpen (beoogde) vorderingen te maken (op de gemeten trek).
• Steekproef: Verzameling leerlingen met specifieke kenmerken die op aselecte wijze uit de te onderzoeken populatie zijn getrokken.
• Subdomein: Verzameling van onderling samenhangende kennis en vaardigheden waarover getoetst wordt. Zo bestaat het domein lezen bij het terrein Papiamentu uit de subdomeinen zakelijke en fictionele teksten.
• Taaktype/taakuitvoering: Classificering of combinatie van classificaties van de onderverdeling van een inhoudsgebied, zoals begrijpen, interpreteren, contextloos, morfologische spelling.
• Terrein: Een te toetsen onderdeel bijvoorbeeld Rekenen of Papiamentu.
• Toetsmatrijs: Een adequate, schematische representatie van het meetdoel.
• Toetsreglement: Document waarin de wijze van afnemen wordt geregeld.
• Unidimensionaliteit: Eigenschap van een schaal wanneer de items in een toets dezelfde vaardigheid meten. Met elke willekeurige subset van items uit de gekalibreerde itembank kan dezelfde onderliggende vaardigheid worden vastgesteld.
• Wet CvTE: Wet College voor toetsen en examens
• WPO BES: Wet primair onderwijs BES
• I. Observatie- en registratie-instrumenten voor de eerste twee leerjaren.
• II. Observatie- en registratie-instrumenten voor het derde tot en met het achtste leerjaar.
• III. LVS-instrumenten voor het derde tot en met het achtste leerjaar voor de voorgeschreven terreinen Rekenen, Papiamentu en Nederlands voor Bonaire, en de voorgeschreven terreinen Rekenen, Nederlands en Engels voor Saba en Sint Eustatius.
• IV. LVS-instrumenten voor het derde tot en met het achtste leerjaar voor niet voorgeschreven terreinen, zoals genoemd in artikel 10, tweede lid WPO BES. De instrumenten richten zich bijvoorbeeld op het meten van de emotionele en de verstandelijke ontwikkeling, op de ontwikkeling van creativiteit, en/of op de verwerving van noodzakelijke kennis van sociale, culturele en lichamelijke vaardigheden.
• – Er is sprake van een observatie- en registratie-instrument als het als doel heeft de ontwikkeling van leerlingen op basis van een onderbouwde theorie (in voorkomend geval inhoud) op een objectieve manier in kaart te brengen en te volgen. Aan deze (kwalitatieve) beschrijvingen geeft ofwel de gebruiker ofwel het instrument vervolgens betekenis.
• – Kenmerkend voor het volgen van de ontwikkeling van de leerling met het instrument is dat:
• ○ er sprake is van een aantal (twee of meer) verschillende observatiemomenten op hetzelfde construct; de afnamemomenten kunnen daarbij vast of variabel zijn;
• ○ er tenminste vergelijkingen met zichzelf (ten opzichte van het vorige observatiemoment) worden gemaakt, en vanaf groep 3 eventueel ook met andere leerlingen.
• – Een ingevulde leeswijzer, te vinden op de website van het CvTE, met daarin uiteengezet in welk aangeleverd document en hoofdstuk een kwaliteitscriterium uit het beoordelingskader wordt verantwoord;
• – Het instrument met bijbehorende ondersteunende materialen voor de gebruiker (in voorkomend geval leerkracht) van het instrument;
• – Een handleiding voor de leerkracht met informatie over de minimaal vereiste expertise van de leerkracht, en met duidelijke instructies voor de leerkracht over het zo objectief mogelijk en professioneel uitvoeren en periodiek registreren van de observaties van de individuele leerling(en), inclusief richtlijnen voor het veilig bewaren van en omgaan met het materiaal zodra dit op de scholen aanwezig is. Een en ander aangevuld met een overzicht van veel gestelde vragen;
• – De (digitale) registratieformulieren waarin de leerkracht periodiek de verzamelde observaties over een langere periode invult;
• – Een voorbeeld van het (observatie)rapport waarin de observaties op overzichtelijke wijze zijn weergegeven voor de individuele leerling. Daar waar van toepassing aangevuld met voorbeelden van de (observatie)rapporten per groep en per school.
• – Het toetsreglement;
• – Indien van toepassing: Cd's, dvd's en/of USB-sticks en log-ins en wachtwoorden bij online instrumenten.
• – Een toets die wordt afgenomen bij leerlingen in het eerste of tweede leerjaar, beschrijft uitsluitend de leervorderingen door de leerling te observeren. ‘Schoolse’ LVS-toetsen voor de eerste twee leerjaren zullen daarom niet door het CvTE worden erkend. Onder een schoolse toets wordt verstaan het in een voor de kleuter onnatuurlijke setting (in voorkomend geval klassikaal aan een tafel in stilte) afnemen van een (papieren) toets uit een toetsboekje. Met behulp van concrete gedragsbeschrijvingen observeert en evalueert de leerkracht gedurende de kleuterjaren de leerling in dagelijkse situaties, met als doel het beschreven gedrag meermaals en in verschillende situaties daadwerkelijk waar te nemen en periodiek te registreren in het observatie- en registratie-instrument.
• – De rapportage van observatie- en registratie-instrumenten voor leerlingen in de eerste twee leerjaren mag niet bestaan uit relatieve scores of interpretaties.
• – Op basis van de rapportage en inhoudelijke gronden wordt onderbouwd dat individuele leerlingen gedurende de eerste twee leerjaren ten opzichte van zichzelf een verandering laten zien, rekening houdend met al dan niet tijdelijke ontwikkelingsgaten en -sprongen. In die zin hebben observatie- en registratie-instrumenten een signaleringsfunctie, doordat de leerkracht op de langere termijn aan de hand van de kwalitatieve beschrijvingen zicht krijgt op de voortgang van de individuele leerling. Het interpreteren van de geobserveerde gedragscriteria mag niet op basis van een relatieve normering plaatsvinden.
• – Het aangeleverde informatiepakket bevat de door het CvTE voorgeschreven informatie / documentatie zijnde in ieder geval:
• ○ Een ingevulde leeswijzer, te vinden op de website van het CvTE, met daarin uiteengezet in welk aangeleverd document en hoofdstuk een kwaliteitscriterium uit het beoordelingskader wordt verantwoord;
• ○ Het instrument / de toets met bijbehorende ondersteunende materialen voor de leerkracht;
• ○ Antwoordformulieren;
• ○ Scoringssleutels;
• ○ Een praktische handleiding voor de leerkracht inclusief richtlijnen voor het veilig bewaren van en omgaan met het materiaal zodra dit op de scholen aanwezig is;
• ○ Een wetenschappelijk inhoudelijke verantwoording, inclusief leeswijzer;
• ○ Voorbeeld leerlingrapport en groepsoverzichten / schoolrapportages;
• ○ Cd’s, dvd’s en/of usb-sticks bij geautomatiseerde instrumenten en log-ins en wachtwoorden bij online-instrumenten;
• ○ Het toetsreglement.
• ○ In geval van normatieve toetsing, het vertrouwelijk delen van de normtabellen, en;
• ○ Indien van toepassing: documentatie over geautomatiseerde scoring.
• a) de wijze waarop de ontwikkeling van leerlingen op cognitief of niet-cognitief gebied met behulp van het instrument systematisch wordt geobserveerd en in het instrument wordt geregistreerd op één of meerdere van de onder b genoemde gebieden;
• b) de mate waarin de instrumenten de ontwikkelingsmomenten van de leerling(en) registreren op de gebieden, genoemd in artikel 10, tweede lid WPO BES: de emotionele en de verstandelijke ontwikkeling, het ontwikkelen van creativiteit, het verwerven van kennis en sociale, culturele en lichamelijke vaardigheden;
• c) de wijze waarop de ontwikkeling van leerlingen voor de ouders, voogden of verzorgers en leerkrachten inzichtelijk worden gemaakt.
• a) de wijze waarop de vorderingen van leerlingen op cognitief of niet-cognitief gebied systematisch worden gemeten op de onder b genoemde gebieden;
• b) de mate waarin de instrumenten de kennis en/of vaardigheden van de leerling(en) meten op de gebieden, genoemd in artikel 10, tweede lid WPO BES: de emotionele en de verstandelijke ontwikkeling, het ontwikkelen van creativiteit, het verwerven van kennis en van sociale, culturele en lichamelijke vaardigheden;
• c) de wijze waarop de leervorderingen van leerlingen voor de ouders, voogden of verzorgers en docenten inzichtelijk worden gemaakt.
• – voldoende;
• – onvoldoende.
• 1. Zijn de items of de observatie-categorieën nog steeds actueel? Dit kan onderzocht worden door middel van een inhoudsanalyse van de opgaven.
• – Is het taalgebruik in de opgaven verouderd of niet langer passend?
• – Zijn er veranderingen in het onderwijsaanbod geweest (bijvoorbeeld wijzigingen in het curriculum en dus in methodes, toetswijzer en referentiekader)?
• – Zijn er maatschappelijke ontwikkelingen geweest (bijvoorbeeld verandering munteenheid of nieuw ontstane gevoeligheden)?
• 2. Is de normering nog steeds passend en actueel?
• – Functioneren de items of observatiecategorieën nog steeds hetzelfde als bij eerdere indiening? Dat wil zeggen, zijn de psychometrische eigenschappen (p-waarden of IRT itemparameters, en de relatie tussen items of observatiecategorieën en het totale instrument, zoals IRT discriminatie waarden, en/of item/testcorrelaties) nog vergelijkbaar?
• – Zijn items niet te zeer bekend geworden of hebben de onder punt 1 aangehaalde problemen de psychometrische eigenschappen van de items of observatiecategorieën veranderd?
• – Meet het instrument nog steeds op een betrouwbare en valide manier de beoogde vaardigheden van leerlingen?
• 3. Sluiten de beveiligingsmaatregelen aan bij de actuele richtlijnen?
• – de toetsmatrijs in ieder geval bevat:
• 1. het aantal vragen met bijbehorende scorepunten;
• 2. de toetsvorm en/of het type vragen;
• 3. de verdeling van de verschillende vraag- en teksttypes in de toets;
• 4. de verdeling van de toetsopgaven over de onderdelen en domeinen in de toets, inclusief een verantwoording of toelichting die inzicht biedt in de gemaakte keuzes bij deze verdeling;
• 5. de toegestane hulpmiddelen;
• 6. en in het geval van een niet adaptieve toets: de toetsduur.
• – eind (of alternatieven hiervoor) – en toetstermen het meetdoel representeren, en concreet en eenduidig zijn omschreven;
• – indien mogelijk: een aanbieder aantoont in welke mate voor wat betreft instrument type (III) vanaf groep 6 aansluit bij de niveaus voor de terreinen Nederlandse taal, Engelse taal, Papiamentu en Rekenen.
• – het totaal aantal boekjes (‘booklets’);
• – het aantal booklets per deelpopulatie óf het aantal beantwoorde items per kandidaat bij een adaptieve toets;
• – het aantal items per domein én per niveau.
• – Met het oog op de kalibratie moeten de boekjes voldoende verbonden zijn. Dat betekent dat er voldoende overlap in observaties tussen de verschillende items en boekjes moet zijn.
• – Bij gebruik van een IRT model moet er voldoende evidentie voor de passing van dat IRT model worden gepresenteerd, zodat kan worden nagegaan of de dataverzameling adequaat is en of er aan de eisen van steekproefgrootten voor het schatten van (item)parameters is voldaan. De toetsaanbieder beschrijft hiertoe als volgt hoe de passing van het IRT model is geëvalueerd:
• ○ de aanbieder toont aan dat de itemparameters tussen verschillende afnamen of boekjes niet veranderen, en;
• ○ de aanbieder voert een DIF analyse (differential item functioning) op itemniveau uit op basis van belangrijke deelpopulaties (bijvoorbeeld eilanden of leerjaren), waarbij de itemparameterschattingen uit de verschillende boekjes in de pretest worden vergeleken. Wanneer er sprake is van DIF op itemniveau, dient de toetsaanbieder aan te tonen dat dit in overeenstemming is met de verwachting op basis van de relevante literatuur. De aanbieder wordt verzocht ook effectgroottes te vermelden.
• ○ De aanbieder vermeldt effectgroottes waarop de modelpassing is geëvalueerd berekend als het gemiddelde absolute verschil tussen de geobserveerde en verwachte proporties juiste antwoorden, gegeven het IRT-model. De aanbieder toont aan dat dit verschil op itemniveau ≤ 10%. De toetsaanbieder mag hier met de juiste motivering van afwijken.
• ○ de toetsaanbieder onderbouwt de modelpassing aan de hand van een grafische weergave van de modelfit en de geobserveerde scores van alle items.
• – De aanbieder wordt verzocht om informatie over de scoreverdeling aan te leveren, zodat inzichtelijk is welke informatiewaarde (en omgekeerd de standard error) correspondeert met een klassieke betrouwbaarheidscoëfficiënt van 0,70.
• – Andere kalibratiemethoden, zoals bijvoorbeeld kernel-equating van Von Davier en Holland (2004), zijn ook toegestaan, zolang de betrouwbaarheid analoog is aan de voor IRT geformuleerde eisen.
• – Er is beargumenteerd op welke wijze er rekening is gehouden met vermoeidheids- en/of volgorde effecten.
• – Wanneer de pretestdata zijn verzameld met een CAT of MST is het niet zinvol om het hele onvolledige design weer te geven, omdat iedere leerling dan in principe een unieke verzameling items maakt. Ook dan moet de aanbieder duidelijk verantwoorden op welke gegevens de linking en normering gebaseerd zijn.