Prometric verfügt über umfangreiche Erfahrung bei der Umstellung von Programmen von der papierbasierten auf die computergestützte Bereitstellung. Die Abteilung für Testentwicklung ist mit Psychometrikern besetzt, die direkt an der Erforschung und Anwendung von Methoden beteiligt waren, um sicherzustellen, dass die Leistung der Kandidaten während eines solchen Übergangs nur minimal beeinträchtigt wird.

Forschung

Da das computergestützte Testen (CBT) in den letzten 10 bis 15 Jahren äußerst produktiv geworden ist, hat der Umfang der Industrieforschung zur Vergleichbarkeit zwischen papiergestützten und computergestützten Prüfungen erheblich zugenommen. Wie zu erwarten ist, sind Forschungsergebnisse, die bei der erstmaligen Einführung von Computern in die Testpopulation üblich waren, für die Kandidatenpopulationen, die heute in die Testumgebung eintreten, nicht mehr relevant. Mit der Entwicklung der Exposition, des Zugangs und der Vertrautheit der Kandidaten mit Computern haben sich die Auswirkungen der Einführung computergestützter Prüfungen erheblich verringert. Dies gilt für die verschiedenen Kandidatensegmente, da die Verfügbarkeit von Computern in allen Bevölkerungsuntergruppen exponentiell gestiegen ist.

In der Zusammenfassung der Ergebnisse der Mehrfachstudien der letzten 5 bis 10 Jahre (die letzte wurde 1997 durchgeführt) wurden die wichtigsten Punkte im Forschungsbereich wie folgt identifiziert:

1. Effektgrößen auf die Prüfungsleistung für papierbasierte Tests im Vergleich zu computerbasierten Tests sind im Allgemeinen statistisch nicht signifikant (p> 0,05), was darauf hindeutet, dass zwischen den beiden Testmethoden kein wesentlicher Unterschied besteht.
2. Die DIF-Analyse (Differential Item Functionality) für einzelne Artikel, die auf Papierbasis oder auf Computerbasis geliefert werden, zeigt in der Regel, dass die Leistung für Artikel in beiden Lieferkanälen vergleichbar ist, wenn die Artikeltypen für beide Liefermethoden geeignet sind.
3. Eine klare Kommunikation mit dem Kandidatenpool in Bezug auf die computergestützte Prüfungsabwicklung kann die Wahrscheinlichkeit, dass der Ablieferungsmodus die endgültige Leistung des Kandidaten beeinflusst, weiter verringern.
4. Die Vorbereitung und das Üben in einer simulierten Testumgebung (durch eine Übungsprüfung und / oder ein Tutorial vor dem Live-Test) können die Leistungsangst der Kandidaten verringern und zu einem ausgewogenen Testergebnis beitragen.

Zusätzlich zu den theoretischen Untersuchungen, die in der Testbranche verfügbar sind, verfügt Prometric über praktische Erfahrung bei der Bewertung und dem Vergleich der Leistung von Kandidaten über mehrere Lieferkanäle. Wir haben eine große Anzahl von Kunden erfolgreich von einem Bereitstellungsmodus in einen anderen migriert und die Leistung der Kandidaten konsequent bewertet, um sicherzustellen, dass allen Kandidaten eine faire Gelegenheit geboten wird, ihr Wissen zu präsentieren (unabhängig vom verwendeten Kanal). Darüber hinaus verfügt Prometric über eine Reihe von Kunden, die ein duales Bereitstellungsmodell (sowohl papierbasiert als auch computerbasiert) verwenden, mit dem auch die Vergleichbarkeit der Prüfungsleistung und der Leistung einzelner Artikel in den verschiedenen Testumgebungen kontinuierlich überwacht werden kann. Die Ergebnisse von Prometric spiegeln durchweg die oben genannten Ergebnisse der allgemeinen Testgemeinschaft wider, und es ist uns gelungen, Ansätze zu entwickeln und weiterzuentwickeln, die das gewünschte Ergebnis gewährleisten.

Trainieren

Bei der Migration eines Prüfungsprogramms sollten mehrere Schritte beachtet werden. Obwohl es eine große Anzahl von Einzelaufgaben gibt, umfassen die Hauptaktivitäten Folgendes:

1. Evaluierung der aktuellen ObjektbankDie Evaluierung der aktuellen papierbasierten Objektbank erfolgt in der Regel zu Beginn des Projekts, um die Anwendbarkeit auf eine computerbasierte Umgebung sicherzustellen und Basisstatistiken für die zukünftige Evaluierung zu sammeln.
2. Änderung der ArtikelpräsentationWenn erforderlich, gibt Prometric Empfehlungen zu einzelnen Artikeländerungen, um die Wahrscheinlichkeit einer gerechten Leistung bei der Gesamtprüfung in einer computerbasierten Umgebung zu erhöhen.
3. Bereiten Sie eine Kommunikationsanstrengung für die Kandidaten vorPrometric arbeitet mit Kunden zusammen, um sicherzustellen, dass eine geeignete Kommunikationskampagne für die Kandidatenpopulation entwickelt wird, bevor ein neues Bereitstellungsmodell eingeführt wird.
4. Vorbereiten von Beispielprüfungen und / oder TutorialsPrometric bereitet Übungsprüfungen und / oder Tutorials vor, die dem Kandidaten vor einer Live-Prüfung zur Verfügung gestellt werden, um das Komfortniveau der Kandidatenpopulation mit dem Testbereitstellungsmodell zu erhöhen.
5. Analyse von Prüfungen und GegenständenUnter Verwendung der in Schritt 2 gesammelten Basisdaten bewertet Prometric die Leistung auf Prüfungs- und Gegenstandsebene, um die Vergleichbarkeit der Kandidatenleistung sicherzustellen.
6. Kontinuierliche Überwachung und Wartung Die Bewertung des Liefermodells endet nicht mit der erstmaligen Bestätigung der Vergleichbarkeit. Prometric-Psychometriker überwachen kontinuierlich die Leistung der USPS-Artikel und -Prüfungen, um sicherzustellen, dass sie innerhalb akzeptabler statistischer Parameter ablaufen, und um den zukünftigen Entwicklungsbedarf für Tests vorherzusagen.

Prometric bettet die oben genannten Methoden in unsere Testentwicklungs- und Lieferprozesse ein, um einen fairen, gültigen und rechtlich vertretbaren Prozess für alle Kandidaten zu gewährleisten. Unsere Erfahrung mit der erfolgreichen Durchführung computergestützter Prüfungen wird durch unsere bewährten Verfahren zur Sicherstellung der Produktqualität und Leistung während des gesamten Lebenszyklus der Prüfungen ergänzt.

Zurück zur Seite Papierbasiertes Testen