Motive pentru pretestarea

Orice program de testare trebuie să dezvolte procese pentru încorporarea de conținut nou în examinările lor. Pretestarea elementelor înainte de a le folosi ca elemente notate la un examen live se face din două motive cheie:

1. Evaluarea statistică a articolelor: Elementele pretestante permit colectarea de statistici privind performanța candidaților la fiecare element nou. Indiferent de cât de solid este procesul de dezvoltare a testelor, este posibil ca articolele de calitate să se efectueze în mod neașteptat în cadrul populației candidate. Evaluarea statisticilor pretest permite confirmarea faptului că articolele recent dezvoltate au performanțe în parametri statistici acceptabili înainte ca articolul care afectează scorul examenului unui candidat.
2. Colectarea statisticilor pentru echivalare: pentru a vă asigura că fiecare candidat primește un examen de dificultate echitabilă, echivalarea prealabilă a formularelor de examinare este o metodă dorită de dezvoltare a testului. Administrarea examenelor de la o bancă generală la un nivel de dificultate specificat necesită ca elementele live utilizate în cadrul bancii de examen să aibă asociate statistici. Un proces de pretestare continuu și standardizat alimentează continuu o bancă de articole și se asigură că se poate efectua pre-echivalarea.

Evaluarea elementelor și pre-echivalarea sunt ambele concepute pentru a crea un proces de testare valid, corect pentru toți candidații. Combinarea acestor procese în cadrul unui plan de dezvoltare generală asigură că fiecare element prezentat candidaților are performanțe bune și că fiecare candidat primește un examen de dificultate echitabilă. Acest lucru creează fundamentul unui program de testare de apărare.

Informațiile următoare acoperă principalele considerente pentru orice program care încorporează un proces de pretestare.

Modul de livrare

Există diferite metodologii disponibile pentru pretestare - cele două metodologii principale sunt (1) forme pretest separate și (2) pretestare încorporate într-o formă existentă.

Separa cele mai frumoase forme

Unele programe preferă să separe complet procesul de pretestare de administrarea examenelor în direct. Pentru a îndeplini acest obiectiv, este necesar să se creeze examene de testare separate care să poată fi administrate populației candidate. Toate examenele de pretest sunt create cu aceeași proporție de articole care sunt prezente pe formularul de examen live. Formele de pretest separate sunt administrate de obicei candidaților voluntari în timpul administrațiilor speciale de pretestare. Candidații voluntari ar trebui să reprezinte cât mai strâns posibil același tip de grup de candidați care ar fi de obicei să ia examenul în direct.

Avantajele acestei abordări sunt că experiența de testare în direct nu este afectată în niciun fel. Candidații care participă la sesiunile de pretestare o fac voluntar și cu o conștientizare deplină a procesului. Dezavantajele acestei abordări includ (1) un interval de timp extins pentru colectarea de date și (2) o potențială înclinare a grupului de candidați și a datelor pretest ulterioare. Atunci când un proces pretest se bazează pe voluntari, în general este nevoie de o perioadă mai lungă de timp pentru a aduna un eșantion suficient de mare de candidați pentru a permite analiza datelor pretestate. În plus, un proces care se bazează pe candidații voluntari schimbă în mod inerent componența grupului de candidați. Deoarece este de obicei candidații motivați, cu performanțe mari, care se vor prezenta voluntar pentru a susține un examen de probă, grupul de candidați nu mai este reprezentativ pentru întreaga gamă de persoane care susțin un examen în direct. Această modificare potențială a grupului de candidați cu performanți preponderent înalți poate influența datele pretestate rezultate.

Cele mai bune articole încorporate în formularul existent

O a doua metodologie de pretestare implică includerea unui procent mic de articole pretest în formularele de examinare existente. Această metodologie permite testarea treptată a elementelor în timpul administrărilor periodice de examen. Un beneficiu al acestei abordări este faptul că candidații care răspund la elementele pretest sunt aceiași candidați care susțin examenul live - ceea ce elimină în mare măsură potențialul de contaminare a grupului de candidați. Deoarece acest proces nu implică utilizarea voluntarilor, permite și colectarea de date pretest în cel mai eficient mod, reducând întârzierile în colectarea datelor din cauza timpului de recrutare îndelungat pentru voluntari.

Dezavantajele acestei abordări implică extinderea numărului de articole examinate. Creșterea numărului de articole la un examen poate crește anxietatea și oboseala candidatului în a răspunde la întrebările din examen. În al doilea rând, un număr mai mic de articole pretest sunt testate în forme existente decât într-o formă pretest separată. Prin urmare, trebuie stabilit un protocol pentru a roti obiectele pretest într-un interval de timp rezonabil.

Dezvăluirea candidaților

Majoritatea profesioniștilor în dezvoltarea testelor ar recomanda ca procesul de pretestare să fie dezvăluit candidaților înainte de administrarea unui examen. Există totuși opțiuni cu privire la cât de multe informații sunt dezvăluite populației candidate.

1. Cunoașterea numărului de articole pretest: în mod normal, candidaților li se spune înainte de examinare câte articole pretestate vor apărea la examen. De asemenea, candidații sunt informați că articolele cele mai pretestate nu vor afecta scorul general.
2. Cunoașterea elementelor pretest exacte: în mod obișnuit, candidaților nu li se spune exact ce elemente sunt cele mai preteste. Acest lucru se face pentru a se asigura că candidații răspund la elementele pretest în același mod în care răspund la subiectele de examen live (cu o dorință echitabilă de a răspunde corect la item).

Mod de prezentare

Dacă articolele pretest sunt încorporate într-o formă existentă, există diferite modalități de prezentare a articolelor pretest. Mai jos sunt descrise trei metodologii.

1. Începutul examenului: Toate articolele pretest pot fi prezentate într-o secțiune la începutul examenului.
2. Sfârșitul examenului: toate articolele pretest pot fi prezentate într-o secțiune la sfârșitul examenului.
3. Distribuite pe tot parcursul examenului: Articolele pot fi distribuite în secțiunile de conținut adecvate din cadrul examenului.

Pentru a se asigura că candidații răspund la elementele pretestate, așa cum ar fi un articol viu la examen, Prometric recomandă ca articolele pretest să fie distribuite pe tot formularul de examen. Acest lucru ajută să se asigure că candidații nu ghicesc cea mai pretestă secțiune și, prin urmare, își modifică performanța pe acele elemente.

Procentul celor mai frumoase articole într-o formă existentă

În mod obișnuit, se recomandă ca elementele pretest să nu depășească 10% din numărul total al examenului (de exemplu, un examen de 40 de itemi nu trebuie să conțină mai mult de 4 articole pretest). Limitarea numărului de articole pretest reduce posibilitatea oboselii candidatului și, de obicei, elimină necesitatea prelungirii timpului de testare.

Numărul expunerilor candidaților înainte de analiză

Pentru teoria testelor clasice, Prometric recomandă minimum 100 de expuneri de candidat per articol pretest pentru a evalua viabilitatea statistică. Expuneri suplimentare ale candidaților (peste minimul de 100) cresc stabilitatea datelor candidaților și cresc generalizarea rezultatelor pretestate.

Parametri optimi pentru tranziția articolului cel mai pretest la viu

Următoarea secțiune descrie orientările generale prin care psihometricienii interni prometrici evaluează obiectele pretestate. Deși programele individuale pot diferi, aceste orientări sunt utile în scopuri generale de evaluare. Vă rugăm să rețineți că aceste orientări se aplică numai acelor programe care folosesc teoria clasică a testelor.

Tabelul 1: Rezumatul specificațiilor statistice

Intervalele acceptabile sunt mai mari decât cele optime și sunt explicate mai jos

Intervalul intenționat de dificultăți ale elementelor

Valoarea P = 0,30 până la 0,89

Personalul prometric este instruit să recunoască faptul că valorile p individuale nu reprezintă nici o valoare absolută, repetabilă și nici nu necesită o interpretare concretă. Mai degrabă, psihometricienii prometrici analizează toate informațiile de analiză disponibile pentru a evalua tendințele. Notă: valorile p singure sunt insuficiente pentru majoritatea interpretărilor. Toate recenziile de bază ale articolului includ valori p și rpBis înainte de luarea deciziilor privind dispunerea articolului.

Tabelul 2: Orientări pentru valoarea p

Când se constată că un articol este marginal, dezvoltatorii se uită la rpBis-ul articolului. Dacă rpBis este mare, se acordă mai multă toleranță pentru a menține acel element la examen.

Valoarea-țintă pentru indicii de discriminare a articolului

rpBis = 0,20 la 1,00

Tabelul 3: Orientări rpBis

După evaluarea statisticilor la nivel de articol, se iau decizii cu privire la fiecare element în parte. Elementele pot fi (1) acceptate așa cum este și introduse în pool-ul de examene live, (2) acceptate cu modificări și reintroduse în grupul pretest sau (3) respinse de la o utilizare ulterioară.

Revenire la pagina privind eficiența testului și definirea legală