In diesem Dokument werden die allgemeinen Richtlinien beschrieben, nach denen interne Psychometriker von Prometric interne Elemente bewerten und zur weiteren Überprüfung kennzeichnen. Diese Richtlinien gelten für Programme, die die klassische Testtheorie verwenden.
|
Elemente der Formularerstellung und der statistischen Überprüfung |
Spezifikationen / Standards |
|---|---|
|
1. Umfang der Artikelschwierigkeiten |
P-Werte = .30 - .89 (optimal) * |
|
2. Zielwert (e) für Artikelunterscheidungsindizes |
rpBis> .20 |
|
3. Zielbereiche für Schätzungen der Zuverlässigkeit der internen Konsistenz |
Alpha> 0,80 |
| 4. Zielbereiche für Schätzungen der Klassifizierungskonsistenz oder -zuverlässigkeit | Livingston> .80 |
|
Akzeptable Bereiche sind größer als die optimalen Bereiche und werden nachfolgend erläutert |
Bestimmungsgemäßer Umfang der Artikelschwierigkeiten
| P-Wert = 0,30 bis 0,89 |
|---|
Das Personal von Prometric wird geschult, um zu erkennen, dass einzelne p-Werte weder einen absoluten, wiederholbaren Wert darstellen noch eine konkrete Interpretation rechtfertigen. Vielmehr überprüfen Psychometriker von Prometric alle verfügbaren Informationen zur Artikelanalyse, um Trends zu bewerten. Hinweis: p-Werte allein reichen für die meisten Elementinterpretationen nicht aus. Alle grundlegenden Artikelprüfungen berücksichtigen p-Werte und rpBis, bevor Sie Entscheidungen zur Artikelverfügung treffen.
| p-Wert (leicht bis schwer) | Artikelinterpretation |
|---|---|
|
1,00 bis 0,96 |
Inakzeptable Elemente mit minimalem Messwert, die zum Entfernen oder Überarbeiten durch KMU gekennzeichnet werden müssen. |
|
0,90 bis 0,95 |
Sehr einfache (möglicherweise inakzeptable) Elemente: Überprüfen Sie rpBis auf angemessene Diskriminierung. Möglicherweise müssen meine KMU überprüfen. |
|
0,89 bis 0,80 |
Ziemlich einfache (akzeptable) Elemente: Überprüfen Sie rpBis, um die Diskriminierung zu bestätigen. |
|
0,79 bis 0,40 |
Schwer bis mäßig einfache (akzeptable) Artikel: Verwenden Sie diese, wenn die RPBs innerhalb der Spezifikationen liegen. |
| 0,39 bis 0,30 | Schwierige (akzeptable) Elemente: Überprüfen Sie die rpBis genau, und verwenden Sie sie, wenn die rpBis innerhalb der Spezifikationen liegen. |
| 0,29 bis 0,20 | Sehr schwierige (möglicherweise inakzeptable) Punkte: Überprüfen Sie rpBis auf angemessene Diskriminierung. Möglicherweise ist eine Überprüfung durch KMU erforderlich. |
| 0,19 bis 0,00 | Inakzeptable Gegenstände: Unangemessen schwierig oder auf andere Weise fehlerhaft. Muss zum Entfernen oder Überarbeiten durch KMU markiert werden. |
Wenn sich herausstellt, dass ein Element marginal ist, sehen sich die Entwickler das rpBis des Elements an. Wenn das rpBis hoch ist, wird mehr Toleranz gegeben, um diesen Gegenstand in der Prüfung zu behalten.
Zielwert (e) für Positionsdiskriminierungsindizes
| rpBis = 0,20 bis 1,00 |
|---|
Der Punkt Biserial (rpBis) wird von Prometric-Psychometrikern verwendet, um die Unterscheidungskraft jedes Elements zu bestimmen. Wie bei anderen klassischen Statistiken ist die Verwendung von rpBis keine exakte Wissenschaft. In einigen Fällen können sich niedrige rpBis-Werte aus besonders hohen oder niedrigen p-Werten, geringer Artikelvarianz aufgrund nicht plausibler Distraktoren, geringer Bewertungsvarianz aufgrund Homogenität der Kandidaten oder extrem verzerrten Bewertungsverteilungen ergeben. Daher müssen Psychometriker von Prometric bei der Überprüfung von Artikelanalysen verschiedene Statistiken berücksichtigen. In Tabelle 3 sind die Richtlinien zusammengefasst, die Entwickler bei der Überprüfung der Elementdiskriminierung verwenden. Beachten Sie, dass in diesen Richtlinien davon ausgegangen wird, dass das Element ordnungsgemäß eingegeben wurde und die Stichprobe der Kandidaten ausreichend groß ist.
|
RpBis (stark bis schwach) |
Artikelinterpretation |
|---|---|
|
1,00 bis 0,50 |
Sehr stark (akzeptabel) |
|
0,49 bis 0,30 |
Stark (akzeptabel) |
|
0,29 bis 0,20 |
Akzeptabel (muss jedoch möglicherweise überprüft werden) |
|
0,19 bis 0,10 |
Geringfügige (möglicherweise inakzeptable) Elemente: Überprüfen Sie Text und Ablenkungselemente sorgfältig. |
| 0,09 bis 0,00 | Schwache (inakzeptable) Punkte: p-Werte sind wahrscheinlich sehr hoch. Markierung zum Entfernen oder Überarbeiten durch KMU. |
| -0,01 bis -0,20 |
Inakzeptable Gegenstände: Unangemessen schwierig oder auf andere Weise fehlerhaft. Muss zum Entfernen oder Überarbeiten durch KMU markiert werden. |
In Tabelle 4 sind die Interpretationen aufgeführt, die das Psychometrieteam für verschiedene Bereiche von Alpha-Koeffizienten verwendet.
|
Alpha |
Interpretation der internen Konsistenzzuverlässigkeit |
|---|---|
|
Weniger als 0,60 |
Inakzeptable Koeffizienten, die neue Formen erfordern |
|
0,60 bis 0,69 |
Schlechte Koeffizienten, die eine Überarbeitung oder Entfernung des Formulars erfordern |
|
0,70 bis 0,79 |
Grenzkoeffizienten, die möglicherweise eine Überprüfung / Überarbeitung des Formulars erfordern |
|
0,80 bis 0,89 |
Gute Koeffizienten |
|
0,90 oder höher |
Hervorragende Koeffizienten |
Der Zielbereich für Schätzungen der Klassifizierungskonsistenz oder -zuverlässigkeit der Pass / Fail-Entscheidung
|
r = 0,80 oder höher |
|---|
Prometric entschied sich für die Fehlerquadratverlustmethode von Livingston, um die Zuverlässigkeit der Entscheidungskonsistenz zu berechnen. Diese Methode wurde ausgewählt, weil sie wie andere Zuverlässigkeitsmaßstäbe interpretiert werden kann (siehe oben). Es ist weitaus weniger komplex als Schwellwertverlustmethoden und kann für alle Formulare mit einer einzigen Verwaltung ausgeführt werden. Die Verwendung dieser Statistik steht im Einklang mit dem Standard 2.3 in den Standards für pädagogische und psychologische Tests, S. 34. 20.
Prometrische Empfehlungen - Artikel Bankverhältnisse
Die internen Standards und Kundenempfehlungen von Prometric für Artikelbanken sind in der folgenden Tabelle 1 aufgeführt.
|
Empfehlungsgrad |
Reichweite |
|---|---|
|
1. Minimale Zielreichweite |
1,5 bis 2 mal Anzahl der Artikel pro Formular |
|
2. Akzeptabler Zielbereich |
2 bis 3 mal Anzahl der Artikel pro Formular |
|
3. Optimale Zielreichweite |
3 bis 5 mal Anzahl der Artikel pro Formular |
Kehren Sie zur Seite Testeffizienz und rechtliche Vertretbarkeit zurück