Citoscore en schooladvies: verschillen verklaard

Ron Diris | 16 januari 2017


Sinds de publicatie van het Inspectierapport ‘De Staat van het Onderwijs 2014/2015 woedt er in Nederland een discussie over de invloed van sociaaleconomische achtergrond op de kansen van leerlingen. Het rapport van de inspectie onderstreept dat leerlingen van hoogopgeleide ouders een hoger advies krijgen dan leerlingen met laagopgeleide ouders met dezelfde citoscore. In een andere analyse laten we zien in hoeverre deze verschillen ook zichtbaar zijn in onze Limburgse data en wat daarbij de rol is van meetfout. Hier bekijken we waarom cito en advies kunnen verschillen. Met andere woorden: wat zijn precies de factoren die de leraar sterker meeneemt en die door cito relatief minder gewaardeerd worden, en vice versa?

Hiervoor gebruiken we data van Zuid-Limburgse leerlingen die in de schooljaren 2008/2009 tot en met 2014/2015 in groep 8 zaten [OML]. Onderzoek laat zien dat adviezen en citoscores beiden hun eigen ‘unieke’ verklarende waarde hebben voor latere belangrijke uitkomsten, zoals behaalde opleidingsniveau en loon. Zowel de toets als het advies meten dus iets wat belangrijk is voor ‘succes’, wat niet door de andere variabele wordt opgepikt. In deze analyse kijken we waar dat ‘unieke’ aspect van elke variabele mee samenhangt.

Hoe sterk zijn de verschillen?

Een eerste vraag is hoe sterk de samenhang is tussen citoscore en advies; of anders gezegd, in welke mate verschillen deze twee indicatoren. We kijken daarvoor naar hoe vaak het voorkomt dat het advies hoger of lager ligt dan je zou mogen verwachten op basis van de citoscore.

In Figuur 1 zien we hoe dit aandeel van ‘afwijkende gevallen’ zich door de jaren heen ontwikkeld heeft. Een afwijking geeft aan dat het gegeven advies minstens één niveau verschilt van het advies dat aan de citoscore is gekoppeld.[1] Afwijkingen van minstens één niveau komen in ongeveer 15 tot 20 procent van alle gevallen. Afwijkingen komen vaker voor bij leerlingen met relatief lagere scores, hetgeen in ieder geval voor een deel te maken lijkt te hebben met de zeer specifieke indeling tussen de verschillende niveaus binnen het vmbo (basis, kader en gemengd, plus de gedeelde adviezen ertussenin). Voor leerlingen met een citoscore boven de 535 is het aandeel afwijkingen van minstens één niveau 11 %. Figuur 1 laat ook apart de aandelen zien van afwijkingen naar boven (hoger advies dan de citoscore impliceert) en naar beneden (lager advies dan de citoscore impliceert).[2] Tot en met 2014 kwamen lagere adviezen vaker voor dan hogere adviezen, maar door de jaren heen zien we een gestage toename van het geven van hogere adviezen en in het laatste cohort is de situatie omgedraaid.[3]


15-20% van de leerlingen krijgt een advies dat minstens één niveau afwijkt van de citoscore.

Figuur_1_Cito_en_advies_verschillen_verklaard.JPG

Noot: ‘Lager advies’ en ‘hoger advies’ verwijst naar gevallen waarin het gegeven advies lager dan wel hoger is dan het advies wat formeel aan de behaalde citoscore is gekoppeld

Wat verklaart deze verschillen?

Achtergrondkenmerken

Er is dus nog een redelijk groot aantal leerlingen waarvoor het gegeven advies anders is dan je op basis van hun prestatie op de citotoets had mogen verwachten. Welke factoren verklaren deze verschillen nu? In de onderstaande analyse kijken we naar verschillende (groepen van) variabelen en kijken we of deze indicatoren afwijkingen voorspellen. We presenteren deze schattingen steeds apart voor afwijkingen in het advies naar boven en afwijkingen in het advies naar beneden. Wanneer we het in de onderstaande bespreking hebben over ‘hogere adviezen’ en ‘lagere adviezen’ dan bedoelen we daarmee leerlingen die een hoger dan wel lager advies hebben gekregen dan het advies wat gekoppeld is aan hun citoscore.

We kijken allereerst naar demografische achtergrondkenmerken. Zoals gezegd is er veel discussie rond de rol van het opleidingsniveau van de ouders. Eerdere analyses hebben laten zien dat leerlingen met hoogopgeleide ouders betere adviezen krijgen voor dezelfde citoscore. Tabel 1 laat zien dat opleidingsniveau van de ouders inderdaad een sterke voorspeller is voor afwijkingen in het advies. Kinderen van laag opgeleide ouders krijgen vaker lagere adviezen en krijgen minder vaak hogere adviezen, en het omgekeerde geldt voor kinderen van hoog opgeleide ouders. De effecten zijn iets sterker als het gaat om lagere adviezen. Etniciteit blijkt ook een (kleine) rol te spelen. Niet-Limburgse autochtonen hebben een kleinere kans op een lager advies, ten opzichte van zowel Limburgse autochtonen en allochtonen. Ook meisjes hebben een kleinere kans op een lager advies, en een (iets) grotere kans op een hoger advies. Tot slot hebben leerlingen die in een ‘traditioneel gezin wonen (i.e. leerlingen die wonen bij beide biologische ouders) zowel een kleinere kans op een lager advies als een grotere kans op een hoger advies.

Kijkend naar achtergrondkenmerken is het opleidingsniveau van de ouders duidelijk de sterkste voorspeller van afwijkende adviezen.

Figuur_2_Cito_en_advies_verschillen_verklaard.JPG

Noot: De tabel geeft de coëfficiënten en p-waardes (tussen []) van een regressie met de kans op een lager dan wel hoger advies als uitkomst en de variabelen in de linkerkolom als onafhankelijke variabelen. De regressie controleert verder ook voor de citoscore en voor ‘time fixed effects’. De p-waarde geeft de kans dat het gemeten coëfficiënt door ‘toeval’ is veroorzaakt (en daarmee dus niet een werkelijk effect van de variabele weergeeft). De indicatoren *, ** en *** geven aan dat de p-waarde kleiner is dan, respectievelijk, 10%, 5% en 1%.

Intelligentie en persoonlijkheid

Het is goed mogelijk dat de citoscore en het advies dat de leraar geeft verschillende vaardigheden anders waarderen. De citotoets wordt gezien als een ‘cognitieve’ test, terwijl de leraar wellicht ook bepaalde persoonlijkheidskenmerken laat meewegen. We kijken hier in hoeverre cognitieve vaardigheden en persoonlijkheidskenmerken afwijkingen kunnen voorspelen. We kijken hierbij met name naar IQ en naar persoonlijkheidskenmerken. Persoonlijkheidskenmerken worden gemeten op basis van vragenlijsten die aan de leerlingen worden voorgelegd, waarin ze moeten aangeven in hoeverre ze het eens zijn met bepaalde stellingen over hun ‘persoonlijkheid’.

Figuur_3_Cito_en_advies_verschillen_verklaard.JPG

Noot: Prestatiemotivatie en doorzettingsvermogen zijn beschikbaar voor een kleinere groep van leerlingen en daarom presenteren we resultaten met alleen IQ en de Big Five apart van de resultaten waarbij we ook deze twee vaardigheden opnemen. Alle variabelen zijn gestandaardiseerd met standaard deviatie 1. Zie Tabel 1 voor een verdere uitleg van de analyse.

Leerlingen die een hoger IQ hebben, nieuwsgieriger zijn en meer doorzettingsvermogen hebben, krijgen een hoger advies voor dezelfde citoscore.

Tabel 2 laat deze resultaten zien. We zien allereerst dat leerlingen met een hoger IQ minder vaak lagere adviezen en vaker hogere adviezen krijgen. IQ werkt hier in feite als een ‘extra informatiebron’, wat een reden kan zijn om adviezen naar beneden (in geval van laag IQ) of naar boven (in geval van hoog IQ) bij te stellen.

De resultaten voor Openheid zijn zeer vergelijkbaar met die voor IQ. Openheid werkt dus ook als een positief extra ‘signaal’ richting het advies. Uit de psychologische literatuur weten we dat Openheid gerelateerd is aan intelligentie, wat de overeenkomsten met de resultaten voor IQ kan verklaren. Meegaandheid is gerelateerd aan een kleinere kans op een lager advies. Neuroticisme is gerelateerd aan zowel meer lagere als minder hogere adviezen. Dit is dus tegengesteld aan het resultaat voor openheid en IQ, en Neuroticisme is daarmee een negatief signaal richting adviezen. Een concrete reden kan zijn dat leraren de neiging hebben om deze leerlingen lager te plaatsen dan hun prestatieniveau omdat ze zich zorgen maken dat een hoger niveau in de toekomst verlammend kan werken.

In de laatste twee kolommen van Tabel 2 zien we ook de resultaten voor prestatiemotivatie en doorzettingsvermogen. Prestatiemotivatie is negatief gerelateerd aan hogere adviezen. Een reden hiervoor kan zijn dat leerlingen die hier hoog op scoren relatief goed hebben gepresteerd op de toets waardoor er dus minder reden is om het advies naar boven bij te stellen. Doorzettingsvermogen heeft een negatieve relatie met het krijgen van een lager advies en een positieve relatie met het krijgen van een hoger advies. Het is daarmee dus een ‘positief signaal’ voor de leraar.[4]

We kijken ook naar de rol van persoonlijkheidskenmerken wanneer die door de ouders zijn gerapporteerd, in plaats van door de leerling. Daarbij zien we kleine verschillen in vergelijking met Tabel 2. De resultaten voor Openheid en Neuroticisme zijn zeer vergelijkbaar, maar er is geen relatie meer met Meegaandheid. Zorgvuldigheid is gerelateerd aan zowel minder lagere adviezen als meer hogere adviezen. Zorgvuldigheid is dus wel een positief signaal richting het advies wanneer het door ouders wordt gerapporteerd (er is geen relatie wanneer het door de leerling wordt gerapporteerd; zie Tabel 2). Daarnaast vinden we zeer sterke relaties voor prestatiemotivatie, wat zowel bijdraagt aan minder lagere adviezen als meer hogere adviezen. De precieze resultaten zijn hier te vinden.

Wanneer we kijken naar persoonlijkheidskenmerken die de ouders over zichzelf rapporteren, dan vinden we dat kinderen van ouders die zelf meer prestatiegedreven zijn vaker hogere adviezen krijgen en dat kinderen van meer meegaande ouders vaker lagere adviezen krijgen. Een reden kan zijn dat meer prestatiegedreven en minder meegaande ouders vooral geneigd zijn om de leraar en/of school onder druk te zetten om het advies bij te stellen. De precieze resultaten zijn hier te vinden.

Verder vinden we dat leerlingen die door de leraar beoordeeld worden als ijverig en gemotiveerd minder vaak lagere adviezen krijgen, terwijl een ‘ondersteunende thuisomgeving’ gerelateerd is aan minder lagere adviezen en meer hogere adviezen. Daarnaast vinden we zeer sterke effecten voor de typering ‘slim’ (ook wanneer we al controleren voor IQ). Het lijkt er op dat het bijsturen van adviezen dus voor een belangrijk deel worden gedreven door situaties waarin de leraar vindt dat de citoscore niet overeenkomt met de eigen subjectieve opvatting van de leraar over het intelligentieniveau van de leerling. De precieze resultaten zijn hier te vinden.[5]

Ook persoonlijkheidskenmerken van de ouders zijn voorspellend voor afwijkingen in het advies.

Zelf-gerapporteerde vaardigheden

De data bevatten ook een breed scala aan zelf-gerapporteerde vaardigheden.[specifieke resultaten] Hierin geven leerlingen aan of ze denken dat ze ergens goed in zijn, op een schaal van 1 tot 4. De vaardigheid die hierbij het sterkst naar voren komt is de mate waarin een leerling zich kan concentreren op taken. Daarnaast waarderen leerlingen met minder lagere adviezen en/of meer hogere adviezen zichzelf ook hoger op het gebied van lezen, teksten schrijven en spelling. Het is niet duidelijk of deze effecten worden gedreven door een hoger zelfvertrouwen of door het feit dat de citotoets het niveau van deze leerlingen niet perfect reflecteert.

Betrokkenheid en investeringen van ouders

In Tabel 1 hebben we al gekeken naar de invloed van achtergrondkenmerken van ouders. In de volgende analyse kijken we specifiek naar gedrag en keuzes van ouders in relatie tot de schoolcarrière van hun kinderen. [specifieke resultaten] Als we kijken naar directe betrokkenheid of investeringen van ouders zoals hulp bij het maken van huiswerk en het geven van bijlessen, vinden we een positieve relatie met lagere adviezen en een negatieve relatie met hogere adviezen. Dit zal zeer waarschijnlijk komen door het feit dat leerlingen die minder goed presteren ook meer hulp nodig hebben (in combinatie met het feit dat de citoscore niet perfect het niveau van de leerling reflecteert). Kinderen van ouders die vaker vrijwilligerswerk doen voor de school krijgen ook minder vaak lagere adviezen en vaker hogere adviezen. Tot slot vinden we dat kinderen van ouders die aangeven dat ze, als ouder, inbreng hebben in het gegeven schooladvies vaker hogere adviezen krijgen. Het lijkt er dus op dat ook in hoeverre de school toelaat dat ouders adviezen kunnen beïnvloeden (met name naar boven toe) een rol speelt.

Verschillende indicatoren van rijkdom spelen ook een (kleine) rol; leerlingen die vaker op vakantie gaan krijgen minder vaak lagere adviezen en leerlingen waarvoor er meer geld is voor activiteiten krijgen vaker hogere adviezen. De grootte van deze effecten is echter vrij beperkt, zeker vergeleken met de geschatte effecten voor opleidingsniveau van de ouders.

Kinderen van ouders die actiever betrokken zijn bij de school krijgen vaker hogere adviezen.

Toekomstverwachtingen en schoolwelbevinden

Verder blijkt dat een aantal variabelen die opvattingen en ambities meten van leerlingen gerelateerd zijn aan afwijkende adviezen. [specifieke resultaten] Leerlingen die verwachten later lang te gaan studeren krijgen minder vaak lagere adviezen. Het tegenovergestelde geldt voor leerlingen die verwachten later handmatig werk te gaan doen; zij krijgen vaker lagere adviezen en minder vaak hogere adviezen. We vinden geen sterke relaties tussen schoolwelbevinden en afwijkende adviezen.

Afwijkingen in adviezen hangen ook samen met toekomstverwachtingen van leerlingen.

Gebeurtenissen

De analyse laat ook zien dat bepaalde belangrijke gebeurtenissen een rol kunnen spelen in het afwijken van adviezen. [specifieke resultaten] Zo krijgen leerlingen die in het verleden ernstig ziek zijn geweest minder vaak hogere adviezen, krijgen leerlingen waarvan een familielid recent is overleden vaker lagere adviezen en krijgen leerlingen waarvan de ouders tijdens de basisschooljaren zijn gescheiden vaker een lager advies en minder vaak een hoger advies. Ook vinden we dat leerlingen die zijn blijven zitten of die zorgleerlingen zijn vaker lagere adviezen en minder vaak hogere adviezen krijgen.

Hoe sterk is de verklarende waarde van deze variabelen?

Tot nu toe hebben we besproken welke variabelen een rol spelen als het gaat om afwijkingen in het advies. We bekijken nu hoe sterk die rol is voor de verschillende groepen variabelen. Daarvoor kijken we naar het deel van alle afwijkingen dat we kunnen voorspellen aan de hand van deze variabelen. Figuur 2 laat deze ‘bijdrage’ zien voor elke groep variabelen. We zien dat de bijdrage van de door de leraar gerapporteerde cognitieve en non-cognitieve vaardigheden duidelijk het grootste is. Dit is extra opvallend gegeven het feit dat het hier maar om een groep van vier variabelen gaat.[6] Aan de andere kant is het ook niet verrassend dat vooral de opvattingen van de leraar een belangrijke rol spelen in het bijstellen van adviezen, aangezien deze uiteindelijk de beslissingen neemt.

Figuur_4_Cito_en_advies_verschillen_verklaard.JPG

Noot: de figuur geeft voor verschillende groepen variabelen aan in hoeverre ze afwijkende adviezen kunnen verklaren; e.g. een waarde van 0.045 betekent dat 4.5% van de afwijkingen in adviezen verklaart kan worden door die groep variabelen. Demogr. = demografische kenmerken; pers. = persoonlijkheid; = Inv. ouders = investeringen en betrokkenheid van ouders.

Indicatoren van persoonlijkheid zijn vooral voorspellend als ze door de leraar worden gerapporteerd.

Algemeen gezien geeft Figuur 2 aan dat meer een relatief klein deel van de geobserveerde afwijkingen verklaard kan worden door de variabelen die we hebben bekeken (vooral als het gaat om hogere adviezen). Er is dus nog veel ‘onverklaarde’ variantie. In een andere analyse bespreken we dat de citotoets een imperfecte maat is van het niveau van een leerling, omdat het een momentopname is. Het is waarschijnlijk dat het grootste deel van de onverklaarde variantie hier voortkomt uit het feit dat leraren adviezen willen bijstellen van leerlingen die net toevallig een slechte of goede dag hebben gehad. Daarnaast zal het ook een rol spelen dat verschillende scholen verschillende intervallen van citoscores gebruiken in het koppelen van scores met adviezen. Een deel van wat we hier observeren als een afwijking zal daarom door de school zelf niet als een afwijking gezien worden.

Kunnen de variabelen de relatie met SES verklaren?

Ten slotte kijken we in hoeverre de rol van het opleidingsniveau van de ouders in het geven van adviezen aan leerlingen met dezelfde citoscore verklaard kan worden door de andere variabelen die we hebben onderzocht. [resultaten] Met andere woorden, wat blijft er nog over van het effect van het opleidingsniveau van de ouders als we aannemen dat kinderen van ouders met een verschillend opleidingsniveau, bijvoorbeeld, hetzelfde IQ of dezelfde persoonlijkheidskenmerken zouden hebben? Figuur A1 voert deze oefening apart uit voor het hebben van laag opgeleide ouders en het hebben van hoog opgeleide ouders (allebei relatief aan het hebben van gemiddeld opgeleide ouders). De analyses laten zien dat maar een klein deel van het effect van het opleidingsniveau van de ouders door deze variabelen verklaard kan worden, vooral als het gaat om de relatie met laag opgeleide ouders. Oordelen van de leraar over de intelligentie en persoonlijkheidskenmerken van de leerling kunnen een deel van het ‘opleidingseffect’ verklaren, maar de bijdrage van de andere variabelen is zeer beperkt. We hebben eerder aangetoond dat een groot deel van het effect van de opleiding van de ouders verklaard wordt door meetfout, maar dat er na correctie voor meetfout wel nog een statistisch significante relatie over blijft. Dat overgebleven effect kan dus nauwelijks verklaard worden door andere variabelen in onze data. Dit suggereert dat ofwel het opleidingsniveau van de ouders iets is dat direct door de leraar wordt meegenomen in het advies of dat andere zaken die gerelateerd zijn het dat opleidingsniveau maar die we niet goed kunnen meten in onze data de drijvende kracht zijn achter deze effecten.

De relatie met opleidingsniveau werkt ‘onafhankelijk’ van de andere onderzochte indicatoren.

Conclusie

Onze analyse heeft laten zien dat een breed spectrum aan indicatoren een rol speelt bij afwijkingen van adviezen ten opzichte van de citoscore. Wat betreft demografische kenmerken van de leerling blijkt vooral opleidingsniveau van de ouders een dominante factor. Daarnaast vinden bij leerlingen met een hoger IQ en een hoger niveau van bepaalde persoonlijkheidskenmerken meer bijstellingen naar boven en minder bijstellingen naar beneden plaats. Ook de opvattingen en betrokkenheid van de ouders zijn bepalende factoren. Tegelijkertijd vinden we dat al deze indicatoren samen maar voor een beperkt deel kunnen verklaren waarom afwijkingen plaats vinden. Verschillen tussen scholen in de koppeling van citoscores en advies kunnen een rol spelen, terwijl het ook waarschijnlijk lijkt dat een van de belangrijkste redenen om adviezen bij te stellen is dat leraren simpelweg willen ‘corrigeren’ voor het feit dat de ‘momentopname’ van de citotoets in meerdere gevallen geen goed beeld heeft gegeven van het algehele niveau van en specifieke leerling.

Literatuur

Borghans, Diris en Schils (2016). The teacher or the test? An analysis of the long-run predictive power of school achievement indicators. Discussiepaper.

Inspectie van het Onderwijs (2014). De Kwaliteit van het Basisschooladvies. Utrecht: Inspectie van het Onderwijs.

Inspectie van het Onderwijs (2016). De Staat van het Onderwijs 2014/2015. Utrecht: Inspectie van het Onderwijs.

delen:  
Gesprek laden

Zelf een bijdrage schrijven? De Educatieve Agenda Limburg is ook een platform waar docenten, onderzoekers en ouders stukken met elkaar delen.