Alasan untuk Pretesting

Setiap program pengujian harus mengembangkan proses untuk memasukkan konten baru ke dalam ujian mereka. Item pretest sebelum menggunakannya sebagai item skor pada ujian langsung dilakukan karena dua alasan utama:

1. Evaluasi Statistik Item: Item pretesting memungkinkan pengumpulan statistik mengenai kinerja kandidat pada setiap item baru. Terlepas dari seberapa terdengar proses pengembangan tes, dimungkinkan untuk item berkualitas untuk melakukan secara tak terduga dalam populasi kandidat. Mengevaluasi statistik pretest memungkinkan untuk konfirmasi bahwa item yang baru dikembangkan berkinerja dalam parameter statistik yang dapat diterima sebelum item yang mempengaruhi skor ujian kandidat.
2. Mengumpulkan Statistik untuk Menyamakan: Untuk memastikan bahwa setiap kandidat menerima ujian kesulitan yang adil, penyetaraan awal formulir ujian adalah metode pengembangan tes yang diinginkan. Mengelola ujian dari bank keseluruhan ke tingkat kesulitan yang ditentukan mengharuskan item langsung yang digunakan dalam bank ujian memiliki statistik yang terkait dengannya. Proses pretesting yang berkesinambungan dan terstandardisasi terus-menerus memberi makan bank barang dan memastikan bahwa pra-penyamaan dapat dilakukan.

Evaluasi barang dan pra-penyamaan keduanya dirancang untuk menciptakan proses pengujian yang valid yang adil bagi semua kandidat. Kombinasi dari proses-proses ini dalam rencana pengembangan keseluruhan memastikan bahwa setiap item langsung yang disajikan kepada kandidat berkinerja baik dan bahwa setiap kandidat menerima ujian kesulitan yang adil. Ini menciptakan fondasi untuk program pengujian yang dapat dipertahankan.

Informasi berikut mencakup pertimbangan utama untuk setiap program yang menggabungkan proses pretesting.

Mode Pengiriman

Ada berbagai metodologi yang tersedia untuk pretesting - dua metodologi utama adalah (1) bentuk pretest terpisah dan (2) pretesting tertanam dalam bentuk yang ada.

Pisahkan Formulir Pretest

Beberapa program lebih suka memisahkan proses pretesting dari administrasi ujian langsung. Untuk mencapai tujuan itu, perlu dibuat ujian pretest terpisah yang dapat diberikan kepada populasi kandidat. Seluruh ujian pretest dibuat dengan proporsi item yang sama yang ada pada formulir ujian langsung. Formulir pretest yang terpisah biasanya diberikan kepada calon sukarelawan selama administrasi pretesting khusus. Kandidat sukarelawan harus mewakili sedekat mungkin jenis kumpulan kandidat yang sama yang biasanya akan mengikuti ujian langsung.

Manfaat dari pendekatan ini adalah bahwa pengalaman pengujian langsung tidak terpengaruh dengan cara apa pun. Calon yang berpartisipasi dalam sesi pretest melakukannya secara sukarela dan dengan penuh kesadaran proses. Kelemahan dari pendekatan ini termasuk (1) kerangka waktu yang diperpanjang untuk pengumpulan data, dan (2) potensi kemiringan dari kumpulan kandidat dan data pretest berikutnya. Ketika proses pretest bergantung pada sukarelawan, biasanya dibutuhkan waktu lebih lama untuk mengumpulkan sampel kandidat yang cukup besar untuk memungkinkan analisis data pretest. Selain itu, proses yang bergantung pada kandidat sukarelawan secara inheren mengubah komposisi kumpulan kandidat. Karena biasanya kandidat termotivasi dan berprestasi tinggi yang akan secara sukarela mengikuti ujian pretest, kumpulan kandidat tidak lagi mewakili berbagai individu yang mengikuti ujian langsung. Perubahan potensial dari kumpulan kandidat ini dengan kinerja tinggi umumnya dapat memiringkan data pretest yang dihasilkan.

Item Pretest Disematkan dalam Formulir yang Ada

Metodologi pretesting kedua melibatkan penyertaan sejumlah kecil item pretest dalam formulir pemeriksaan yang ada. Metodologi ini memungkinkan untuk pretesting bertahap item selama administrasi ujian reguler. Manfaat dari pendekatan ini adalah bahwa para kandidat yang menanggapi barang-barang pretest adalah kandidat yang sama yang mengikuti ujian langsung - yang sangat menghilangkan potensi kontaminasi pada kumpulan kandidat. Karena proses ini tidak melibatkan penggunaan relawan, itu juga memungkinkan pengumpulan data pretest dengan cara yang paling efisien, mengurangi keterlambatan dalam pengumpulan data karena waktu rekrutmen yang panjang untuk relawan.

Kelemahan dari pendekatan ini melibatkan perluasan jumlah item pada pemeriksaan. Meningkatkan jumlah item pada ujian dapat meningkatkan kecemasan dan kelelahan kandidat dalam menjawab pertanyaan-pertanyaan pada ujian. Kedua, sejumlah kecil item pretest diuji dalam bentuk yang ada daripada dalam bentuk pretest terpisah. Oleh karena itu, protokol harus dibuat untuk memutar item pretest dalam jangka waktu yang masuk akal.

Pengungkapan Kandidat

Sebagian besar profesional pengembangan tes akan merekomendasikan agar proses pretest diungkapkan kepada kandidat sebelum administrasi ujian. Namun, ada beberapa pilihan mengenai berapa banyak informasi yang diungkapkan kepada populasi kandidat.

1. Pengetahuan tentang jumlah item pretest: Biasanya kandidat diberitahu sebelum ujian berapa banyak item pretest yang akan muncul pada ujian. Calon juga diberitahu bahwa item pretest tidak akan mempengaruhi skor keseluruhan mereka.
2. Pengetahuan tentang item pretest yang tepat: Biasanya kandidat tidak diberi tahu item mana yang merupakan item pretest. Hal ini dilakukan untuk memastikan bahwa kandidat menjawab soal-soal pretest dengan cara yang sama seperti mereka menjawab soal-soal ujian langsung (dengan keinginan yang adil untuk menjawab soal dengan benar).

Metode Presentasi

Jika item pretest tertanam dalam formulir yang ada, ada berbagai cara. Tiga metodologi dijelaskan di bawah ini.

1. Awal Ujian: Semua item pretest dapat disajikan di bagian di awal ujian.
2. Akhir Ujian: Semua item pretest dapat disajikan di bagian di akhir ujian.
3. Didistribusikan Sepanjang Ujian: Item dapat didistribusikan dalam bagian konten yang sesuai dalam ujian.

Untuk memastikan bahwa para kandidat menjawab soal-soal ujian seperti yang akan dilakukan langsung di ujian, Prometric merekomendasikan agar barang-barang ujian didistribusikan di seluruh formulir ujian. Ini membantu memastikan bahwa kandidat tidak menebak bagian pretest dan karenanya memodifikasi kinerja mereka pada item-item tersebut.

Persentase Barang Pretest dalam Bentuk yang Ada

Biasanya disarankan agar item pretest tidak melebihi 10% dari total item pada ujian (mis., 40 item ujian tidak boleh mengandung lebih dari 4 item pretest). Membatasi jumlah item pretest mengurangi kemungkinan kelelahan kandidat dan biasanya menghilangkan kebutuhan untuk memperpanjang waktu pengujian.

Jumlah Paparan Calon Sebelum Analisis

Untuk teori tes klasik, Prometric merekomendasikan minimal 100 kandidat paparan per item pretest untuk mengevaluasi kelayakan statistik. Eksposur kandidat tambahan (di atas minimum 100) meningkatkan stabilitas data kandidat dan meningkatkan generalisasi dari hasil pretest.

Parameter Optimal untuk Transisi Item Pretest ke Live

Bagian berikut menjelaskan pedoman umum yang digunakan psikometrik internal Prometric untuk mengevaluasi item pretest. Meskipun masing-masing program mungkin berbeda, pedoman ini bermanfaat untuk tujuan evaluasi keseluruhan. Harap dicatat bahwa pedoman ini hanya berlaku untuk program-program yang menggunakan teori tes klasik.

Tabel 1: Ringkasan Spesifikasi Statistik

Rentang yang dapat diterima lebih besar dari rentang optimal dan dijelaskan di bawah ini

Kesulitan Berbagai Item yang Dimaksudkan

Nilai P = 0,30 hingga 0,89

Staf prometric dilatih untuk mengenali bahwa nilai-p individu tidak mewakili nilai absolut, berulang, atau menjamin interpretasi yang konkret. Sebaliknya, psikometrik Prometric meninjau semua informasi analisis item yang tersedia untuk mengevaluasi tren. Catatan: nilai p saja tidak cukup untuk sebagian besar interpretasi item. Semua ulasan item dasar menggabungkan nilai-p dan rpB sebelum membuat keputusan disposisi item.

Tabel 2: Pedoman p-value

Ketika item ditemukan marginal, pengembang melihat rpBis item tersebut. Jika rpBis tinggi, lebih banyak toleransi diberikan untuk menjaga item itu pada ujian.

Nilai Target untuk Indeks Diskriminasi Item

rpBis = 0,20 hingga 1,00

Tabel 3: Pedoman rpBis

Setelah evaluasi statistik tingkat item, keputusan dibuat pada setiap item individual. Item dapat (1) diterima apa adanya dan ditempatkan di kolam ujian langsung, (2) diterima dengan modifikasi dan dimasukkan kembali ke dalam kolam pretest, atau (3) ditolak dari penggunaan lebih lanjut.

Kembali ke Efisiensi Uji dan Defensibilitas Hukum