古典的テスト理論の内部心理測定ガイドライン

このドキュメントでは、プロメトリックの内部心理測定者が内部アイテムを評価し、追加レビューのためにフラグを立てる一般的なガイドラインについて説明します。これらのガイドラインは、古典的なテスト理論を利用するプログラムに適用されます。

表1：統計仕様の要約
フォームアセンブリと統計レビューの要素	仕様/規格
1.アイテムの難易度	P値= .30-.89（最適）*
2.品目差別指標の目標値	rpBis> .20
3.内部一貫性の信頼性の推定の対象範囲	アルファ> .80
4.分類の一貫性または信頼性の推定の対象範囲	リビングストン> .80
許容範囲は最適範囲よりも大きく、以下で説明します

アイテムの難易度の対象範囲

P値= 0.30から0.89

プロメトリックのスタッフは、個々のp値が絶対的で反復可能な値を表さず、具体的な解釈を保証しないことを認識するように訓練されています。むしろ、プロメトリックの心理測定者は、傾向を評価するために利用可能なすべてのアイテム分析情報を確認します。注：p値だけでは、ほとんどのアイテムの解釈には不十分です。すべての基本的なアイテムレビューには、アイテムの配置を決定する前にp値とrpBisが組み込まれます。

表2：p値のガイドライン
p値（ハードからイージー）	アイテムの解釈
1.00から0.96	SMEによる削除または改訂のためにフラグを立てる必要がある最小の測定値を持つ許容できないアイテム。
0.90から0.95	非常に簡単な（おそらく受け入れられない）アイテム：rpBisで適切な差別を確認します。 SMEを確認する必要がある場合があります。
0.89から0.80	かなり簡単な（受け入れられる）アイテム：rpBisを確認して差別を確認します。
0.79から0.40	難易度から中程度に簡単な（許容できる）アイテム：rpBisが仕様内にある場合に使用します。
0.39から0.30	難しい（受け入れられる）アイテム：rpBisを綿密にレビューし、rpBisが仕様内にある場合に使用します。
0.29から0.20	非常に難しい（おそらく受け入れられない）アイテム：rpBisで適切な差別を確認します。中小企業によるレビューが必要な場合があります。
0.19から0.00	許可されないアイテム：不適切または困難な欠陥。 SMEによる削除または改訂のフラグを立てる必要があります。

アイテムが限界にあることが判明した場合、開発者はアイテムのrpBisを調べます。 rpBisが高い場合、試験でその項目を保持するためにより多くの許容値が与えられます。

品目差別指標の目標値

rpBis = 0.20から1.00

ポイントシリアル（rpBis）は、各項目の識別力を決定するためにプロメトリックの心理学者によって使用されます。他の古典的な統計と同様に、rpBisの使用は正確な科学ではありません。場合によっては、低いrpBis値は、特に高いまたは低いp値、信頼できないディストラクタによる低いアイテムの分散、候補の均一性による低いスコアの分散、または極端に歪んだスコア分布から生じる可能性があります。そのため、プロメトリックの心理測定者は、アイテム分析をレビューする際にいくつかの統計を考慮する必要があります。表3は、開発者がアイテムの差別を検討する際に使用するガイドラインをまとめたものです。これらのガイドラインは、アイテムが適切にキーイングされ、候補者のサンプルが十分に大きいと想定していることに注意してください。

表3：rpBisのガイドライン
RpBis（強いから弱い）	アイテムの解釈
1.00から0.50	非常に強い（許容できる）
0.49から0.30	強い（許容できる）
0.29から0.20	許容できる（ただし、レビューが必要な場合がある）
0.19から0.10	最低限の（おそらく受け入れられない）アイテム：テキストと注意散漫を注意深く確認します。
0.09から0.00	弱い（受け入れられない）アイテム：p値はおそらく非常に高いです。 SMEによる削除または改訂のフラグ。
-0.01から–0.20	許可されないアイテム：不適切に困難またはその他の欠陥。 SMEによる削除または改訂のフラグを立てる必要があります。

表4に、さまざまな範囲のアルファ係数に対して心理測定チームが使用する解釈を示します。

表4：アルファガイドライン
アルファ	内部一貫性の信頼性の解釈
0.60未満	新しい形式を必要とする許容できない係数
0.60から0.69	フォームの修正または削除が必要な貧弱な係数
0.70から0.79	フォームのレビュー/改訂が必要な限界係数
0.80から0.89	良い係数
0.90以上	優れた係数

合格/不合格の分類の一貫性または信頼性の推定値の目標範囲

r = 0.80以上

プロメトリックは、意思決定の一貫性の信頼性を計算するために、リビングストンの二乗誤差損失法を選択しました。この方法が選択されたのは、他の信頼性の尺度と同様に解釈できるためです（前述）。しきい値損失方式よりもはるかに複雑ではなく、すべての単一管理フォームで実行できます。この統計の使用は、教育および心理テストの基準のp。 20。

プロメトリックの推奨事項-アイテムバンク比率
アイテムバンクに関するプロメトリックの内部標準とクライアントの推奨事項を以下の表1に示します。

表1：標準フォームベースの配信のアイテムバンクの推奨事項
推奨レベル	範囲
1.最小ターゲット範囲	フォームあたりのアイテム数の1.5〜2倍
2.許容範囲	フォームごとに2〜3倍のアイテム数
3.最適なターゲット範囲	フォームごとに3〜5倍のアイテム数

テストの効率性と法的防御のページに戻る