Dokumen ini menjelaskan pedoman umum yang digunakan psikometrik internal Prometric untuk mengevaluasi dan menandai item internal untuk peninjauan tambahan. Pedoman ini berlaku untuk program-program yang menggunakan teori tes klasik.
|
Elemen Bentuk Majelis dan Tinjauan Statistik |
Spesifikasi / Standar |
|---|---|
|
1. Berbagai kesulitan item |
Nilai-P = .30 - .89 (optimal) * |
|
2. Nilai target untuk indeks diskriminasi item |
rpBis> .20 |
|
3. Rentang target untuk perkiraan keandalan konsistensi internal |
Alpha> .80 |
| 4. Rentang target untuk estimasi konsistensi atau reliabilitas klasifikasi | Livingston> .80 |
|
Rentang yang dapat diterima lebih besar dari rentang optimal dan dijelaskan di bawah ini |
Kesulitan Berbagai Item yang Dimaksudkan
| Nilai P = 0,30 hingga 0,89 |
|---|
Staf prometric dilatih untuk mengenali bahwa nilai-p individu tidak mewakili nilai absolut, berulang, atau menjamin interpretasi yang konkret. Sebaliknya, psikometrik Prometric meninjau semua informasi analisis item yang tersedia untuk mengevaluasi tren. Catatan: nilai p saja tidak cukup untuk sebagian besar interpretasi item. Semua ulasan item dasar menggabungkan nilai-p dan rpB sebelum membuat keputusan disposisi item.
| p-value (mudah sulit) | Interpretasi barang |
|---|---|
|
1,00 hingga 0,96 |
Item yang tidak dapat diterima dengan nilai pengukuran minimal yang harus ditandai untuk dihapus atau direvisi oleh UKM. |
|
0,90 hingga 0,95 |
Item yang sangat mudah (mungkin tidak dapat diterima): tinjau rpBis untuk diskriminasi yang memadai. Mungkin perlu meninjau UKM saya. |
|
0,89 hingga 0,80 |
Item yang cukup mudah (dapat diterima): tinjau rpBis untuk mengonfirmasi diskriminasi. |
|
0,79 hingga 0,40 |
Item yang sulit hingga cukup mudah (dapat diterima): gunakan jika rpBis masih dalam spesifikasi. |
| 0,39 hingga 0,30 | Item yang sulit (dapat diterima): tinjau rpB erat, gunakan jika rpBis dalam spesifikasi. |
| 0,29 hingga 0,20 | Item yang sangat sulit (mungkin tidak dapat diterima): tinjau rpBis untuk diskriminasi yang memadai. Mungkin perlu ditinjau oleh UKM. |
| 0,19 hingga 0,00 | Item yang tidak dapat diterima: Sulit atau cacat cacat. Harus ditandai untuk dihapus atau direvisi oleh UKM. |
Ketika item ditemukan marginal, pengembang melihat rpBis item tersebut. Jika rpBis tinggi, lebih banyak toleransi diberikan untuk menjaga item itu pada ujian.
Nilai Target untuk Indeks Diskriminasi Item
| rpBis = 0,20 hingga 1,00 |
|---|
Titik Biserial (rpBis) digunakan oleh psikometri Prometric untuk menentukan kekuatan diskriminasi setiap item. Seperti statistik klasik lainnya, penggunaan rpBis bukanlah ilmu pasti. Dalam beberapa kasus, nilai rpBis rendah dapat dihasilkan dari nilai p yang sangat tinggi atau rendah, varian item rendah karena gangguan yang tidak masuk akal, varian skor rendah karena homogenitas kandidat, atau distribusi skor yang sangat miring. Oleh karena itu, psikometrik Prometric diharuskan untuk mempertimbangkan beberapa statistik saat mereka meninjau analisis item. Tabel 3 merangkum pedoman yang digunakan pengembang ketika meninjau diskriminasi item. Perhatikan bahwa pedoman ini menganggap item dikunci dengan benar dan sampel kandidat cukup besar.
|
RpBis (kuat ke lemah) |
Interpretasi barang |
|---|---|
|
1,00 hingga 0,50 |
Sangat kuat (dapat diterima) |
|
0,49 hingga 0,30 |
Kuat (dapat diterima) |
|
0,29 hingga 0,20 |
Dapat diterima (tetapi mungkin perlu ditinjau) |
|
0,19 hingga 0,10 |
Item marjinal (mungkin tidak dapat diterima): tinjau teks dan distraktor dengan cermat. |
| 0,09 hingga 0,00 | Item yang lemah (tidak dapat diterima): nilai-p mungkin sangat tinggi. Tandai untuk dihapus atau direvisi oleh UKM. |
| -0,01 hingga –0,20 |
Item yang tidak dapat diterima: sulit atau tidak tepat cacat. Harus ditandai untuk dihapus atau direvisi oleh UKM. |
Tabel 4 mencantumkan interpretasi yang digunakan oleh tim psikometrik untuk berbagai rentang koefisien alfa.
|
Alfa |
Interpretasi Keandalan Konsistensi Internal |
|---|---|
|
Kurang dari 0,60 |
Koefisien yang tidak dapat diterima yang membutuhkan formulir baru |
|
0,60 hingga 0,69 |
Koefisien buruk yang memerlukan revisi atau penghapusan formulir |
|
0,70 hingga 0,79 |
Koefisien marjinal yang mungkin memerlukan peninjauan / revisi formulir |
|
0,80 hingga 0,89 |
Koefisien yang bagus |
|
0,90 atau lebih tinggi |
Koefisien luar biasa |
Rentang Target untuk Perkiraan Konsistensi Klasifikasi atau Keandalan Keputusan Lulus / Gagal
|
r = 0,80 atau lebih tinggi |
|---|
Metode loss-error loss Livingston yang dipilih Prometric untuk menghitung keandalan konsistensi keputusan. Metode ini dipilih karena dapat diartikan seperti langkah-langkah keandalan lainnya (dibahas di atas). Ini jauh lebih kompleks daripada metode kehilangan ambang batas, dan dapat dijalankan untuk semua formulir administrasi tunggal. Penggunaan statistik ini konsisten dengan Standar 2.3 dalam Standar untuk Pendidikan dan Pengujian Psikologis, hal. 20.
Rekomendasi Prometric - Rasio Bank Barang
Standar internal dan rekomendasi klien Prometric untuk bank barang tercantum dalam Tabel 1 di bawah ini.
|
Tingkat Rekomendasi |
Jarak |
|---|---|
|
1. Rentang Target Minimal |
1,5 hingga 2 kali jumlah item per formulir |
|
2. Rentang Target yang Dapat Diterima |
2 hingga 3 kali jumlah item per formulir |
|
3. Rentang Target Optimal |
3 hingga 5 kali jumlah item per formulir |