Prometric ha una vasta esperienza nel passaggio da programmi cartacei a computer. Il dipartimento di sviluppo dei test è composto da psicometrici che hanno partecipato direttamente alla ricerca e all'applicazione di metodologie per contribuire a garantire un impatto minimo sulle prestazioni dei candidati durante tale transizione.

Ricerca

Poiché i test basati su computer (CBT) sono diventati estremamente prolifici negli ultimi 10-15 anni, la quantità di ricerche di settore sulla comparabilità tra esami cartacei e computerizzati è cresciuta considerevolmente. Come prevedibile, i risultati della ricerca comuni all'inizio dell'introduzione dei computer nella popolazione di test non sono più rilevanti per le popolazioni candidate che entrano oggi nell'ambiente di test. Man mano che le popolazioni candidate si sono evolute nella loro esposizione, accesso e familiarità con i computer, gli effetti dell'introduzione di esami basati su computer si sono notevolmente ridotti. Ciò è stato vero in tutti i segmenti candidati multipli, poiché la disponibilità dei computer è aumentata in modo esponenziale in tutti i sottogruppi di popolazione.

Riassumendo i risultati degli studi multipli negli ultimi 5-10 anni (il più recente è stato condotto nel 1997), i principali punti identificati nell'area di ricerca sono i seguenti:

1. Le dimensioni degli effetti sulle prestazioni degli esami per i test su supporto cartaceo rispetto a quelli su computer sono generalmente statisticamente insignificanti (p> 0,05), il che suggerisce nessuna differenza sostanziale tra le due metodologie di test.
2. L'analisi DIF (Differential Item Functionality) su singoli articoli consegnati su supporto cartaceo o su computer indica in genere che quando i tipi di articolo favoriscono entrambe le metodologie di consegna, le prestazioni sugli articoli in entrambi i canali di consegna sono comparabili.
3. Una chiara comunicazione al pool di candidati in merito alla consegna degli esami basata su computer può ridurre ulteriormente la possibilità che la modalità di consegna influisca sulle prestazioni del candidato finale.
4. La preparazione e la pratica in un ambiente di test simulato (attraverso un esame di pratica e / o un tutorial prima del test dal vivo) possono ridurre l'ansia delle prestazioni dei candidati e contribuire ulteriormente a un risultato di test equo.

Oltre alla ricerca teorica disponibile nel settore dei test, Prometric ha anche esperienza pratica nella valutazione e nel confronto delle prestazioni dei candidati su più canali di consegna. Abbiamo migrato con successo un gran numero di clienti da una modalità di consegna all'altra e abbiamo valutato costantemente le prestazioni dei candidati per garantire che a tutti i candidati fosse fornita una buona opportunità per mostrare le loro conoscenze (indipendentemente dal canale utilizzato). Inoltre, Prometric ha numerosi clienti che utilizzano un modello di doppia consegna (sia cartaceo che informatico), che consente anche il monitoraggio continuo della comparabilità delle prestazioni degli esami e delle prestazioni dei singoli articoli nei diversi ambienti di test. I risultati di Prometric rispecchiano costantemente quelli sopra menzionati dalla comunità di test generali e siamo stati in grado di sviluppare e far avanzare approcci che assicurano il risultato desiderato.

Pratica

Nel migrare un programma di esami, ci sono diversi passaggi che dovrebbero essere considerati. Sebbene vi sia un gran numero di attività individuali, le attività principali includono quanto segue:

1. Valutazione dell'attuale banca di articoli Una valutazione dell'attuale banca di articoli su supporto cartaceo viene in genere effettuata all'inizio del progetto per garantire l'applicabilità a un ambiente basato su computer e per raccogliere statistiche di base per future valutazioni.
2. Modifica della presentazione degli articoli Se necessario, Prometric fornisce raccomandazioni sulle modifiche dei singoli articoli per aumentare la probabilità di prestazioni eque sull'esame complessivo in un ambiente basato su computer.
3. Preparare uno sforzo di comunicazione ai candidatiPrometric collabora con i clienti per garantire che venga sviluppata una campagna di comunicazione adeguata per la popolazione candidata prima dell'introduzione di un nuovo modello di consegna.
4. Preparare esami e / o tutorial di esempio Prometric prepara esami di pratica e / o tutorial forniti al candidato prima di un esame dal vivo per aumentare il livello di comfort della popolazione candidata con il modello di consegna del test.
5. Analisi degli esami e degli articoli Utilizzando i dati di base raccolti nel passaggio n. 2, Prometric valuterà le prestazioni a livello di esame e di articolo per garantire la comparabilità delle prestazioni del candidato.
6. Monitoraggio e manutenzione continui La valutazione del modello di consegna non si interrompe dopo la conferma iniziale della comparabilità. Gli psicometrici prometrici monitoreranno continuamente le prestazioni degli articoli e degli esami USPS per assicurarsi che si comportino entro parametri statistici accettabili e per prevedere le esigenze future di sviluppo dei test.

Prometric incorpora le metodologie sopra descritte nei nostri processi di sviluppo e consegna dei test per garantire un processo equo, valido e legalmente difendibile per tutti i candidati. La nostra esperienza con l'implementazione con successo di esami basati su computer è accompagnata dai nostri processi comprovati per garantire la qualità del prodotto e le prestazioni durante tutto il ciclo di vita degli esami.

Tornare alla carta in base alla pagina di test basata su computer