プロメトリックは、プログラムを紙ベースの配信からコンピューターベースの配信に移行する豊富な経験を持っています。テスト開発部門には、このような移行中の候補者のパフォーマンスへの影響を最小限に抑えるための方法論の研究と応用に直接参加した心理測定者が配置されています。
研究
過去10〜15年でコンピューターベースのテスト（CBT）が非常に多くなったため、紙ベースの試験とコンピューターベースの試験の比較に関する業界研究の量はかなり増加しました。予想されるように、テスト対象へのコンピューターの最初の導入時に一般的だった研究結果は、現在テスト環境に入っている候補者とは関係ありません。候補者の集団がコンピューターへの露出、アクセス、および精通度で進化するにつれて、コンピューターベースの試験の導入の効果は大幅に減少しました。これは、すべての母集団サブグループでコンピューターの可用性が指数関数的に増加したため、複数の候補セグメントで当てはまりました。
過去5〜10年（最近では1997年に実施された）の複数の研究の結果を要約すると、研究分野で確認された主なポイントは次のとおりです。
- 紙ベースのテストとコンピューターベースのテストの試験のパフォーマンスに対する効果の大きさは、一般に統計的に重要ではなく（p> 0.05）、2つのテスト方法に大きな違いがないことを示唆しています。
- 紙ベースとコンピューターベースで配信される個々のアイテムの差分アイテム機能（DIF）分析は、通常、アイテムタイプが両方の配信方法論に適している場合、両方の配信チャネルのアイテムのパフォーマンスが同等であることを示します。
- コンピュータベースの試験の実施に関する受験者プールとの明確なコミュニケーションにより、受験モードが最終受験者のパフォーマンスに影響を与える可能性をさらに減らすことができます。
- 模擬テスト環境での準備と練習（実技試験および/またはライブテスト前のチュートリアルによる）は、候補者のパフォーマンスの不安を軽減し、公平なテスト結果にさらに貢献します。
プロメトリックは、テスト業界で利用可能な理論的研究に加えて、複数の配信チャネルにわたる候補者のパフォーマンスの評価と比較の実践的な経験も持っています。多数のクライアントをある配信モードから別の配信モードに正常に移行し、候補者のパフォーマンスを一貫して評価して、すべての候補者が知識を表示する公平な機会を提供されるようにしました（使用されているチャネルに依存しません）。さらに、Prometricには、デュアル配信モデル（紙ベースとコンピューターベースの両方）を使用するクライアントが多数あります。これにより、複数のテスト環境にわたって試験のパフォーマンスと個々のアイテムのパフォーマンスの比較を継続的に監視することもできます。プロメトリックの調査結果は、一般的なテストコミュニティからの上記の調査結果を一貫して反映しており、望ましい結果を保証するアプローチを開発し、前進させることができました。
練習
試験プログラムの移行では、考慮すべきいくつかの手順があります。個々のタスクは多数ありますが、主なアクティビティには次のものが含まれます。
- 現在のアイテムバンクの評価現在の紙ベースのアイテムバンクの評価は、通常、プロジェクトの開始時に行われ、コンピューターベースの環境への適用性を確保し、将来の評価のためのベースライン統計を収集します。
- アイテムのプレゼンテーションの変更必要に応じて、プロメトリックは個々のアイテムの変更に関する推奨事項を作成し、コンピューターベースの環境での試験全体で公平なパフォーマンスの可能性を高めます。
- 候補者とのコミュニケーションの取り組みを準備するPrometricはクライアントと連携して、新しい配信モデルを導入する前に候補者の母集団に対して適切なコミュニケーションキャンペーンが展開されるようにします。
- サンプル試験および/またはチュートリアルを準備するプロメトリックは、ライブ配信試験の前に受験者に提供される模擬試験および/またはチュートリアルを準備して、テスト配信モデルでの受験者集団の快適度を高めます。
- 試験とアイテムの分析ステップ2で収集したベースラインデータを使用して、プロメトリックは試験とアイテムレベルのパフォーマンスを評価し、候補者のパフォーマンスの比較可能性を確認します。
- 継続的な監視と保守配信モデルの評価は、比較可能性の最初の確認後も停止しません。プロメトリックのサイコメトリシャンは、USPS項目と試験のパフォーマンスを継続的に監視して、許容される統計パラメーター内で実行されていることを確認し、将来のテスト開発ニーズを予測します。
プロメトリックは、テスト開発および配信プロセスに上記の方法を組み込み、すべての受験者に対して公正で有効かつ法的に弁護可能なプロセスを確保します。コンピュータベースの試験を成功裏に実施した経験は、試験のライフサイクル全体を通して製品の品質と性能を確保するための実績のあるプロセスと一致しています。