Adaptieve capaciteitentest sneller en nauwkeuriger
Veel klanten van NOA kennen de Multiculturele Capaciteitentest waarvan een versie voor middelbaar en hoger opleidingsniveau bestaat. Een beproefde methode die ook in de toekomst beschikbaar blijft. Maar inmiddels is er alweer een volgende stap in de ontwikkeling in de vorm van een adaptieve capaciteitentest. Een test die tijdens het afnemen reageert op het niveau van de kandidaat en zo uitkomsten “op maat” oplevert. Dat is sneller en nauwkeuriger.
Michiel Hol, onderzoeker en ontwikkelaar bij NOA, is de afgelopen jaren bezig geweest met de ontwikkeling van deze adaptieve test. “Er is niets mis met de capaciteitentests die we al hebben, de MCT-H voor hoger opleidingsniveau en de MCT-M voor middelbaar opleidingsniveau, maar we zochten nog naar een test die beter aansluit op de individuele kandidaat zodat hij sneller en preciezer wordt, terwijl hij daarnaast ook geschikt moet blijven voor grotere afnames. Dat heeft geleid tot deze nieuwe adaptieve MCT-A test waarvan ik verwacht dat onze klanten er blij mee zullen zijn.” De test komt binnenkort beschikbaar op het NOA Talent Portal, het nieuwe platform van NOA.
Hoe werkt zo’n adaptieve test? Het principe is dat de kandidaten vragen krijgen die zijn gebaseerd op zijn of haar eerdere antwoorden. Als iemand bijvoorbeeld goed is in rekenen en de beginvragen correct en snel invult registreert het testprogramma dat, waarna het vervolgvragen kiest die lastiger zijn. Tot die voor de kandidaat te moeilijk worden en een stapje terug wordt gedaan totdat het juiste niveau is bereikt. Andersom registreert het programma het ook wanneer de beginvragen te moeilijk zijn, dan wordt het niveau naar beneden bijgesteld. Michiel: “Op deze manier kan sneller het niveau van de betreffende kandidaat worden bepaald.”
“Een adaptieve test is geen AI, ze is gebaseerd op een gewoon statistisch model”, benadrukt Michiel met klem. Voor de adaptieve capaciteitentest zijn alle berekeningen eerst voorbereid in het statistisch programma R. Bij adaptief testen worden namelijk tijdens het invullen van de test allerlei berekeningen uitgevoerd die vooraf zijn uitgewerkt. De programmeurs hebben alle berekeningen vervolgens ingebouwd in het NOA Talent Portal.” Hierna volgde het eerste echte testen. Maar dat is erg leuk om te doen omdat je dan ziet of het werkt zoals je hoopte. En in ons geval: het werkte! Dus hadden we een groot Hoera! moment.”
De volgende stap was het analyseren van de bestaande vragenlijsten en het ontwikkelen van nieuwe vragen. Voor de nieuwe adaptieve test konden de vragen uit de bestaande capaciteitentesten voor hoger en middelbaar opleidingsniveau worden samengevoegd omdat de test zichzelf aanpast aan het niveau van de kandidaat. Differentiëren is dus niet meer nodig. “De werking van al die bestaande vragen moest worden onderzocht” zegt Michiel, “omdat ze in de nieuwe adaptieve test op een andere manier worden afgenomen. En daarnaast voegden we ook nieuwe vragen toe. Daardoor kan de MCT-A nu kiezen uit een groter aantal vragen dan de bestaande MCT-H en MCT-M bevatten. Dat heeft als bijkomend voordeel dat de vragen minder snel bekend zullen worden. Bovendien wordt spieken bij deze test heel moeilijk omdat de kandidaten voor dezelfde subtests vaak verschillende vragen zullen krijgen.”
Om de werking van de nieuwe vragenlijsten te onderzoeken waren er totaal 12.000 testafnames. Michiel: “Het werven van de kandidaten daarvoor was niet gemakkelijk omdat de steekproeven aan veel eisen moesten voldoen om representatief te zijn. Denk bijvoorbeeld aan de verdeling qua leeftijd en opleiding. Dit onderdeel duurde lang, was lastig en tijdrovend. Gelukkig hadden we daarbij de ondersteuning van Qualtrix”.
“Ik zit nu in de laatste fase voordat de MCT-A operationeel is, namelijk de analyse van de onderzoeken en het bepalen van alle instellingen. Daarin kies je welke items gaan afvallen en hoe lang de adaptieve subtests worden. Ondertussen wordt er gewerkt aan nieuwe instructies en er zullen ook nieuwe rapportages worden gemaakt. En uiteindelijk opnieuw weer testen. Wat altijd spannend blijft: hoe ziet het resultaat eruit?”
|
Voordelen van de MCT-A:
|
