Prometric are o experiență vastă în tranziția programelor de la livrarea pe hârtie la livrarea pe computer. Departamentul de dezvoltare a testelor este format din psihometrici care au participat direct la cercetarea și aplicarea metodologiilor pentru a asigura un impact minim asupra performanței candidaților în timpul unei astfel de tranziții.
Cercetare
Pe măsură ce testarea pe computer (CBT) a devenit extrem de prolifică în ultimii 10-15 ani, volumul cercetărilor din industrie privind comparabilitatea dintre examenele pe hârtie și cele pe computer a crescut considerabil. După cum s-ar fi așteptat, rezultatele cercetărilor obișnuite la introducerea inițială a calculatoarelor în populația de testare nu mai sunt relevante pentru populațiile candidate care intră în mediul de testare astăzi. Pe măsură ce populațiile candidate au evoluat în ceea ce privește expunerea, accesul și familiarizarea cu calculatoarele, efectele introducerii examenelor bazate pe computer s-au redus substanțial. Acest lucru a fost valabil pe mai multe segmente de candidați, deoarece disponibilitatea calculatoarelor a crescut exponențial în toate subgrupurile de populație.
În rezumarea concluziilor multiplelor studii din ultimii 5-10 ani (cele mai recente fiind realizate în 1997), principalele puncte identificate în zona de cercetare sunt următoarele:
- Mărimea efectului asupra performanței examenului pentru testarea pe hârtie versus computer este în general nesemnificativă statistic (p> 0.05), ceea ce sugerează nicio diferență substanțială între cele două metodologii de testare.
- Analiza funcționalității elementelor diferențiale (DIF) pe articole individuale care sunt livrate pe hârtie versus computerizate indică de obicei că atunci când tipurile de articole sunt favorabile ambelor metodologii de livrare, performanța pe articole din ambele canale de livrare este comparabilă.
- Comunicarea clară către grupul de candidați cu privire la livrarea examenelor pe computer poate scădea și mai mult șansa ca modul de livrare să afecteze performanța finală a candidatului.
- Pregătirea și practica într-un mediu de testare simulat (printr-un examen de practică și / sau un tutorial înainte de testarea în direct) poate reduce anxietatea de performanță a candidatului și poate contribui în continuare la un rezultat echitabil al testării.
În plus față de cercetările teoretice disponibile în cadrul industriei de testare, Prometric are, de asemenea, experiență practică în evaluarea și compararea performanței candidaților pe mai multe canale de livrare. Am migrat cu succes un număr mare de clienți de la un mod de livrare la altul și am evaluat în mod constant performanța candidaților pentru a ne asigura că tuturor candidaților li se oferă o oportunitate corectă de a-și afișa cunoștințele (independent de canalul folosit). În plus, Prometric are o serie de clienți care utilizează un model de livrare dublă (atât pe bază de hârtie, cât și pe computer), ceea ce permite, de asemenea, monitorizarea continuă a comparabilității performanței examenului și a performanței elementelor individuale în mai multe medii de testare. Rezultatele lui Prometric oglindesc în mod constant pe cele menționate mai sus de la comunitatea generală de testare și am putut dezvolta și avansa abordări care asigură rezultatul dorit.
Practică
În migrarea programelor de examinare, există mai multe etape care ar trebui luate în considerare. Deși există un număr mare de sarcini individuale, activitățile majore includ următoarele:
- Evaluarea băncii curente de articole O evaluare a băncii actuale bazate pe hârtie se face de obicei la începutul proiectului pentru a asigura aplicabilitatea într-un mediu computerizat și pentru a aduna statistici de bază pentru evaluarea viitoare.
- Modificarea prezentării articolului Dacă este necesar, Prometric face recomandări privind modificările elementelor individuale pentru a crește probabilitatea unei performanțe echitabile la examenul general într-un mediu computerizat.
- Pregătiți un efort de comunicare către candidațiPrometric lucrează cu clienții pentru a se asigura că o campanie de comunicare adecvată este dezvoltată pentru populația candidată înainte de introducerea unui nou model de livrare.
- Pregătește examene și / sau tutorialePrometric pregătește examene de practică și / sau tutoriale care sunt furnizate candidatului înainte de un examen live pentru a crește nivelul de confort al populației candidate cu modelul de livrare a testelor.
- Examinarea și analiza articolului Utilizând datele de bază colectate la pasul 2, Prometric va evalua performanța examenului și nivelul nivelului pentru a asigura comparabilitatea performanței candidatului.
- Monitorizare și întreținere continuă Evaluarea modelului de livrare nu se oprește după confirmarea inițială a comparabilității. Psihometricienii prometrici vor monitoriza continuu performanța articolelor și examenelor USPS, pentru a se asigura că acestea au performanțe în parametri statistici acceptabili și pentru a previziona nevoile viitoare de dezvoltare a testelor.
Prometric încorporează metodologiile de mai sus în cadrul proceselor noastre de dezvoltare și livrare a testelor pentru a asigura un proces corect, valid și defensabil din punct de vedere legal pentru toți candidații. Experiența noastră cu implementarea cu succes a examenelor bazate pe computer este asociată cu procesele noastre dovedite pentru asigurarea calității produselor și a performanței pe întregul ciclu de viață al examenelor.