Prometric heeft uitgebreide ervaring in de overgang van programma's van levering op papier naar levering op computer. De testontwikkelingsafdeling bestaat uit psychometrische onderzoekers die rechtstreeks hebben deelgenomen aan het onderzoek en de toepassing van methoden om te zorgen voor een minimale impact op de prestaties van kandidaten tijdens een dergelijke overgang.

Onderzoek

Omdat computergebaseerd testen (CBT) de afgelopen 10-15 jaar extreem productief is geworden, is de hoeveelheid industrieonderzoek naar de vergelijkbaarheid tussen papieren en computergebaseerde examens aanzienlijk toegenomen. Zoals verwacht, zijn onderzoeksresultaten die gebruikelijk waren bij de eerste introductie van computers in de testpopulatie niet langer relevant voor de kandidaatpopulaties die vandaag de testomgeving binnenkomen. Naarmate kandidaat-populaties zijn geëvolueerd in hun blootstelling, toegang en vertrouwdheid met computers, zijn de effecten van de introductie van computer-gebaseerde examens aanzienlijk verminderd. Dit geldt voor de verschillende kandidaatsegmenten, omdat de beschikbaarheid van computers exponentieel is toegenomen in alle populatiesubgroepen.

Bij het samenvatten van de bevindingen van de meerdere studies in de afgelopen 5-10 jaar (de meest recente uitgevoerd in 1997), zijn de belangrijkste punten op het onderzoeksgebied als volgt:

1. Effectgroottes op examenprestaties voor testen op papier versus computer zijn over het algemeen statistisch niet significant (p> 0,05), wat geen substantieel verschil suggereert tussen de twee testmethoden.
2. Differential Item Functionality (DIF) -analyse van afzonderlijke artikelen die op papier worden geleverd versus op computers gebaseerd, geeft doorgaans aan dat, wanneer itemtypen bevorderlijk zijn voor beide leveringsmethoden, de prestaties op artikelen in beide leveringskanalen vergelijkbaar zijn.
3. Duidelijke communicatie met de kandidatenpool met betrekking tot computergebaseerde examenaflevering kan de kans dat de aflevermodus de uiteindelijke kandidaatprestaties beïnvloedt, verder verkleinen.
4. Voorbereiding en oefening in een gesimuleerde testomgeving (via een oefenexamen en / of een tutorial voorafgaand aan live testen) kan de faalangst bij kandidaten verminderen en verder bijdragen aan een rechtvaardig testresultaat.

Naast het theoretische onderzoek dat beschikbaar is binnen de testindustrie, heeft Prometric ook praktische ervaring met het evalueren en vergelijken van de prestaties van kandidaten via meerdere leveringskanalen. We hebben met succes een groot aantal klanten van de ene leveringsmodus naar de andere gemigreerd en hebben de prestaties van de kandidaten consequent geëvalueerd om ervoor te zorgen dat alle kandidaten een eerlijke kans krijgen om hun kennis te tonen (onafhankelijk van het gebruikte kanaal). Bovendien heeft Prometric een aantal klanten die een dubbel leveringsmodel gebruiken (zowel op papier als op computer), waardoor ook de vergelijkbaarheid van examenprestaties en individuele artikelprestaties in meerdere testomgevingen continu kan worden gecontroleerd. De bevindingen van Prometric zijn consistent met de bevindingen die hierboven zijn vermeld door de algemene testgemeenschap en we hebben benaderingen kunnen ontwikkelen en bevorderen die het gewenste resultaat garanderen.

Praktijk

Bij het migreren van een examenprogramma moeten verschillende stappen worden overwogen. Hoewel er een groot aantal individuele taken zijn, omvatten de belangrijkste activiteiten het volgende:

1. Evaluatie van de huidige artikelbank Een evaluatie van de huidige papieren artikelbank wordt meestal aan het begin van het project gedaan om de toepasbaarheid in een computergebaseerde omgeving te waarborgen en om basislijnstatistieken te verzamelen voor toekomstige evaluatie.
2. Wijziging van artikelpresentatie Indien nodig doet Prometric aanbevelingen voor individuele artikelwijzigingen om de kans op billijke prestaties op het algemene examen in een computergebaseerde omgeving te vergroten.
3. Bereid een communicatie-inspanning voor de kandidaten voor. Prometric werkt samen met klanten om ervoor te zorgen dat een geschikte communicatiecampagne wordt ontwikkeld voor de kandidaatpopulatie voorafgaand aan de introductie van een nieuw leveringsmodel.
4. Voorbeeldexamens en / of tutorials voorbereiden Prometric bereidt oefenexamens en / of tutorials voor die voorafgaand aan een live examen aan de kandidaat worden verstrekt om het comfortniveau van de kandidaatpopulatie te verhogen met het testafleveringsmodel.
5. Onderzoek en itemanalyse Aan de hand van de in stap 2 verzamelde basisgegevens evalueert Prometric de examen- en itemniveauprestaties om de vergelijkbaarheid van de kandidaatprestaties te garanderen.
6. Voortdurende monitoring en onderhoud De evaluatie van het leveringsmodel stopt niet na de eerste bevestiging van de vergelijkbaarheid. Prometrische psychometristen zullen de prestaties van de USPS-items en examens voortdurend controleren om ervoor te zorgen dat ze binnen acceptabele statistische parameters presteren en om toekomstige ontwikkelingsbehoeften van tests te voorspellen.

Prometric sluit de bovenstaande methoden in onze testontwikkeling en leveringsprocessen in om een eerlijk, geldig en juridisch verdedigbaar proces voor alle kandidaten te waarborgen. Onze ervaring met het succesvol implementeren van computergebaseerde examens wordt geëvenaard door onze bewezen processen voor het waarborgen van de kwaliteit van producten en prestaties gedurende de hele levenscyclus van de examens.

Keer terug naar papier op basis van computergebaseerde testpagina