Unternehmen, die computergestützte Tests entwickeln und durchführen, stehen vor den gleichen Herausforderungen wie herkömmliche Papier- und Bleistifttests, einschließlich Fragen der Sicherheit, der psychometrischen Bearbeitung und der rechtlichen Vertretbarkeit. Neue Probleme treten auch beim computergestützten Testen (CBT) auf, insbesondere da Tests häufiger über das Internet verwaltet werden. Zu diesen Problemen gehören ein erhöhtes Risiko des Betrugs von Kandidaten und eine Überbelichtung von Gegenständen.

Um die anhaltenden Herausforderungen zu bewältigen, die das Testen im Allgemeinen sowie einige der neuen Probleme im Zusammenhang mit CBT mit sich bringt, müssen Unternehmen Standardprozesse für die Entwicklung von Testelementen und die psychometrische Bearbeitung befolgen. Die Verwendung mehrerer Artikelautoren zum Entwickeln von Testinhalten ist eine gängige Praxis, kann jedoch zu Abweichungen im Stil, Format und Schwierigkeitsgrad des Testartikels führen. Ein Styleguide mit Vorlagen, Standards und Regeln für die Artikelentwicklung kann einen wichtigen Beitrag zur Verbesserung der Artikelkonsistenz, des Formats und der Vielfalt leisten. Darüber hinaus kann durch Schulungen zur Inhaltsentwicklung sichergestellt werden, dass Autoren über die Werkzeuge verfügen, um glaubwürdige, schutzwürdige Elemente und Elementvorlagen zu entwickeln, mit denen verschiedene Variationen derselben Frage erstellt werden können, wodurch die Größe der Elementbank in kürzerer Zeit erhöht wird.

Die statistische Auswertung von Testobjekten vor Ort ermöglicht es Unternehmen, Feedback zu bestimmten Objektleistungen und kognitiven Ebenen zu erhalten. Diese Intelligenz ermöglicht die Überarbeitung von Artikelentwicklungsprozessen und das Feedback für bestimmte Entwickler von Testartikeln. So können Sie feststellen, was effektiv ist und wie die Artikel im Feld abschneiden. Auf diese Weise kann die Organisation auch Entscheidungen zur Aufbewahrung, Änderung und Zuordnung von Artikeln treffen.

Jede Organisation, die Tests entwickelt oder durchführt, sollte sich des psychometrischen Bearbeitungsprozesses bewusst sein - einer, der die Bewertung des Schwierigkeitsgrades von Elementen einschließt und Aspekte wie Grammatik, Sensibilität und Stil berücksichtigt. Psychometrie bietet auch die Überprüfung der Form und Funktion des Testobjekts, wie z. B. parallele Optionen, ausreichende Informationen, um die Frage und die Antwortlänge zu beantworten.

Da Objektivität eine wichtige Rolle spielt, wird die psychometrische Bearbeitung am besten von Testentwicklern durchgeführt, nicht von Fachleuten oder Autoren von Artikeln. Personen, die in der Komplexität der psychometrischen Bearbeitung geschult sind, bewerten Artikel in einem anderen kritischen Licht als Fachexperten oder Artikelschreiber. Es ist jedoch wichtig, dass der endgültige, bearbeitete Artikel auch von Fachleuten auf dem entsprechenden Gebiet geprüft und genehmigt wird.

Artikel, die für CBT und PPT entwickelt wurden, müssen rechtlich vertretbar sein, um den Schutz im Falle einer rechtlichen Anfechtung zu gewährleisten. Um die rechtliche Vertretbarkeit sicherzustellen, müssen Unternehmen einen Standardprozess für die Artikelentwicklung und die psychometrische Überprüfung implementieren, wie oben erläutert.

Die Bewertung der rechtlichen Vertretbarkeit umfasst eine inhaltliche und psychometrische kritische Prüfung der Prüfung, um sicherzustellen, dass die Prüfung gemäß dem Standard für pädagogische und psychologische Prüfungen entwickelt wurde . Die Gerichte halten sich bei der Beurteilung der Glaubwürdigkeit der betreffenden Prüfung an die Standards. Die rechtliche Vertretung kann über verschiedene Methoden erfolgen. Der wichtigste Aspekt des Entwicklungsprozesses besteht darin, standardisierte Methoden zu befolgen, zu dokumentieren und geeignetes Testentwicklungspersonal in den Prozess einzubeziehen. Es gibt viele verschiedene Schritte im Testentwicklungsprozess und verschiedene Methoden, die für jeden Schritt verwendet werden können. Wenn Sie beispielsweise den Cutscore für eine Prüfung ermitteln, können Sie mithilfe von Prozessen wie der Modified Angoff-Methode oder der Lesezeichen-Methode den geeigneten Standard für das Bestehen ermitteln. Jede der Methoden verwendet eine andere Technik, um den Balken zu bestimmen, den ein Kandidat erreichen muss, um einen Bestehensstatus zu erhalten.

Um das Risiko einer Überbelichtung von Objekten zu minimieren, entwickeln Testunternehmen große Testobjektbanken, aus denen Testinhalte routinemäßig aktualisiert werden. Unternehmen, die computerbasierte Tests verwalten, sollten unter Berücksichtigung der großen Testentwickler und -administratoren die Verwendung erweiterter Elementbänke und geplanter Testelementaktualisierungen in Betracht ziehen, um sicherzustellen, dass die Kandidaten nicht dieselben Elemente oder Designs sehen Information.

In vielen High-Stakes-Testprogrammen sammeln und untersuchen Testadministratoren forensische Daten, um zu messen, wie oft Testkandidaten bestimmten Testobjekten ausgesetzt sind, wie viel Zeit die Kandidaten durchschnittlich für Objekte aufwenden und wie sich die Reaktionen der Kandidaten auf Objekte im Laufe der Zeit und der Exposition ändern. Dies stellt die fortlaufende Anpassung des Artikelentwicklungsprozesses und -inhalts sicher, um Glaubwürdigkeit, Rechtmäßigkeit und Sicherheit zu gewährleisten.

Es gibt auch verschiedene Methoden, die implementiert werden können, um die Kandidatenergebnisse nach der Prüfung zu analysieren. Eine dieser Arten von Analysen ist eine Differential-Item-Analyse, bei der die Gruppenleistung an Testobjekten bewertet wird (Gruppen können nach Geschlecht, ethnischer Zugehörigkeit oder anderen Faktoren definiert werden). Elemente, die sich in Gruppen von Kandidaten signifikant unterscheiden, werden dann erneut bewertet, um die zukünftige Verwendung zu bestimmen.

Die Vielzahl der Faktoren, die bei der Entwicklung von Inhalten für computerbasierte Tests zu berücksichtigen sind, verleihen der Prüfung selbst Glaubwürdigkeit und Integrität. Unternehmen, die in der Lage sind, das Design und die Implementierung ihrer Testprogramme sorgfältig zu überlegen, schneiden proaktiv besser ab als Unternehmen, die in Eile auf computerbasierte Tests umsteigen. Ein proaktiver Ansatz, der Ressourcen für die Artikelentwicklung und -bearbeitung sowie Sicherheits- und IT-Parameter berücksichtigt, dient der Organisation auf lange Sicht besser, da er die Gültigkeit der Tests und die Fairness der Kandidaten erhöht und ein höheres Maß an Schutz vor rechtlichen Herausforderungen bietet.

Kehren Sie zur Seite Testeffizienz und rechtliche Vertretbarkeit zurück