Ragioni per il test preliminare
Qualsiasi programma di test deve sviluppare processi per incorporare nuovi contenuti nei loro esami. La prova preliminare degli oggetti prima di usarli come elementi segnati in un esame dal vivo viene eseguita per due motivi principali:
- Valutazione statistica degli articoli: le prove preliminari consentono di raccogliere statistiche relative alle prestazioni dei candidati su ogni nuovo oggetto. Indipendentemente da quanto sia valido il processo di sviluppo del test, è possibile che gli articoli di qualità si esibiscano inaspettatamente all'interno della popolazione candidata. La valutazione delle statistiche di pretest consente di confermare che gli articoli di recente sviluppo funzionano con parametri statistici accettabili prima che l'articolo influisca sul punteggio dell'esame di un candidato.
- Raccolta di statistiche per l'equazione: al fine di garantire che ogni candidato riceva un esame di equa difficoltà, il preequivalenza dei moduli di esame è un metodo di sviluppo del test desiderato. La gestione degli esami da una banca generale a un livello di difficoltà specificato richiede che gli articoli attivi utilizzati nella banca degli esami siano associati a statistiche. Un processo di pretest continuo e standardizzato alimenta continuamente una banca di articoli e garantisce che sia possibile eseguire il pre-equating.
La valutazione e la pre-equazione degli articoli sono entrambe progettate per creare un processo di test valido che sia equo per tutti i candidati. La combinazione di questi processi all'interno di un piano di sviluppo globale garantisce che ogni elemento dal vivo presentato ai candidati stia funzionando bene e che ciascun candidato riceva un esame di equa difficoltà. Questo crea le basi per un programma di test difendibile.
Le seguenti informazioni coprono le considerazioni principali per qualsiasi programma che incorpori un processo di pretesting.
Modalità di spedizione
Esistono diverse metodologie disponibili per il pretest: le due metodologie principali sono (1) forme di pretest separate e (2) pretest incorporate in una forma esistente.
Separare i moduli di pretest
Alcuni programmi preferiscono separare completamente il processo di pretesting dall'amministrazione dell'esame dal vivo. Al fine di raggiungere tale obiettivo, è necessario creare esami preliminari separati che possono essere somministrati alla popolazione candidata. Gli esami di prova completi vengono creati con la stessa proporzione di articoli presenti nel modulo dell'esame dal vivo. Moduli separati di pretest sono in genere somministrati a candidati volontari durante speciali amministrazioni di pretest. I candidati volontari dovrebbero rappresentare il più fedelmente possibile lo stesso tipo di pool di candidati che normalmente verrebbe sottoposto all'esame dal vivo.
I vantaggi di questo approccio sono che l'esperienza di test dal vivo non è influenzata in alcun modo. I candidati che partecipano alle sessioni di pretesting lo fanno volontariamente e con piena consapevolezza del processo. Gli svantaggi di questo approccio includono (1) un periodo di tempo esteso per la raccolta dei dati e (2) una potenziale inclinazione del pool di candidati e dei dati di pretest successivi. Quando un processo di pretest si basa su volontari, in genere è necessario un periodo di tempo più lungo per raccogliere un campione sufficientemente ampio di candidati per consentire l'analisi dei dati di pretest. Inoltre, un processo che si basa su candidati volontari modifica intrinsecamente la composizione del pool di candidati. Dato che in genere sono i candidati motivati e di alto livello che si offriranno volontari per sostenere un esame preliminare, il pool di candidati non è più rappresentativo dell'intera gamma di persone che sostengono un esame dal vivo. Questa potenziale alterazione del pool di candidati con prestazioni prevalentemente elevate può distorcere i dati pretest risultanti.
Articoli pretest incorporati nel modulo esistente
Una seconda metodologia di pretesting prevede l'inclusione di una piccola percentuale di articoli pretest nei moduli di esame esistenti. Questa metodologia consente il pretesting graduale degli articoli durante le normali amministrazioni degli esami. Un vantaggio di questo approccio è che i candidati che rispondono agli argomenti pretest sono gli stessi candidati che sostengono l'esame dal vivo - il che elimina notevolmente il potenziale di contaminazione del pool di candidati. Poiché questo processo non prevede l'uso di volontari, consente anche la raccolta di dati pretest nel modo più efficiente, riducendo i ritardi nella raccolta dei dati a causa dei lunghi tempi di assunzione per i volontari.
Gli svantaggi di questo approccio comportano l'estensione del numero di elementi all'esame. L'aumento del numero di elementi durante un esame può aumentare l'ansia e la fatica dei candidati nel rispondere alle domande dell'esame. In secondo luogo, un numero inferiore di articoli pretest viene testato all'interno di forme esistenti rispetto a forme separate pretest. Pertanto, è necessario stabilire un protocollo per ruotare gli articoli pretest in un lasso di tempo ragionevole.
Divulgazione del candidato
La maggior parte dei professionisti dello sviluppo dei test raccomanderebbe che il processo di pretest fosse reso noto ai candidati prima di un'amministrazione dell'esame. Vi sono tuttavia opzioni riguardo alla quantità di informazioni divulgate alla popolazione candidata.
- Conoscenza del numero di articoli pretest: in genere, prima dell'esame, ai candidati viene comunicato il numero di articoli pretest che verranno visualizzati nell'esame. I candidati sono inoltre informati che gli articoli pretest non influenzeranno il loro punteggio complessivo.
- Conoscenza degli articoli pretest esatti: in genere ai candidati non viene detto esattamente quali sono gli articoli pretest. Questo viene fatto per garantire che i candidati rispondano agli articoli pretest nello stesso modo in cui rispondono agli articoli dell'esame dal vivo (con un equo desiderio di rispondere correttamente all'oggetto).
Metodo di presentazione
Se gli articoli pretest sono incorporati in un modulo esistente, ci sono vari modi di presentare gli articoli pretest. Di seguito sono descritte tre metodologie.
- Inizio dell'esame: tutti gli articoli pretest possono essere presentati in una sezione all'inizio dell'esame.
- Fine dell'esame: tutti gli articoli pretest possono essere presentati in una sezione alla fine dell'esame.
- Distribuito durante l'esame: gli articoli possono essere distribuiti all'interno delle sezioni del contenuto appropriate durante l'esame.
Al fine di garantire che i candidati rispondano agli articoli pretest come se fossero articoli live sull'esame, Prometric raccomanda di distribuire gli articoli pretest in tutto il modulo dell'esame. Questo aiuta a garantire che i candidati non indovinino la sezione di pretest e quindi modificano le loro prestazioni su quegli articoli.
Percentuale di articoli pretestati in un modulo esistente
Si consiglia in genere che gli articoli pretest non superino il 10% degli articoli totali nell'esame (ad esempio, un esame di 40 articoli non deve contenere più di 4 articoli pretest). Limitare il numero di articoli pretest riduce la possibilità di affaticamento del candidato ed elimina in genere la necessità di prolungare i tempi di test.
Numero di esposizioni candidate prima dell'analisi
Per la teoria del test classico, Prometric raccomanda un minimo di 100 esposizioni candidate per articolo pretest al fine di valutare la fattibilità statistica. Ulteriori esposizioni candidate (oltre il minimo di 100) aumentano la stabilità dei dati dei candidati e aumentano la generalizzabilità dei risultati pretest.
Parametri ottimali per la transizione di pretest a oggetto live
La sezione seguente descrive le linee guida generali in base alle quali gli psicometrici interni Prometric valutano gli elementi pretest. Sebbene i singoli programmi possano differire, queste linee guida sono utili ai fini della valutazione complessiva. Si noti che queste linee guida si applicano solo a quei programmi che utilizzano la teoria dei test classica.
Tabella 1: Riepilogo delle specifiche statistiche
| Elementi di assemblaggio di moduli e revisione statistica | Specifiche / standard |
| 1. Gamma di difficoltà dell'articolo | p-value = .30 -.89 (ottimale) * |
| 2. Valori target per gli indici di discriminazione degli articoli | rpBis> .20 |
| 3. Intervalli target per la stima dell'affidabilità della coerenza interna | Alpha> .80 |
| 4. Intervalli target per le stime di coerenza o affidabilità della classificazione | Livingston> .80 |
Gli intervalli accettabili sono maggiori degli intervalli ottimali e sono spiegati di seguito
Gamma prevista di difficoltà dell'oggetto
Valore P = da 0,30 a 0,89
Il personale di Prometric è addestrato a riconoscere che i singoli valori p non rappresentano né un valore assoluto, ripetibile né giustificano un'interpretazione concreta. Piuttosto, gli psicometrici Prometric esaminano tutte le informazioni di analisi degli oggetti disponibili per valutare le tendenze. Nota: i soli valori p non sono sufficienti per la maggior parte delle interpretazioni degli elementi. Tutte le revisioni di base degli articoli incorporano valori p e rpBis prima di prendere decisioni sulla disposizione degli articoli.
Tabella 2: Linee guida per il valore p
| valore p (da facile a difficile) | Interpretazione dell'oggetto |
| Da 1.00 a 0.96 | Articoli inaccettabili con un valore di misurazione minimo che devono essere contrassegnati per la rimozione o la revisione da parte delle PMI |
| Da 0,90 a 0,95 | Articoli molto facili (forse inaccettabili): rivedere rpBis per un'adeguata discriminazione. Potrebbe essere necessario rivedere le mie PMI. |
| Da 0,89 a 0,80 | Articoli abbastanza facili (accettabili): rivedere rpBis per confermare la discriminazione. |
| Da 0,79 a 0,40 | Elementi difficili o moderatamente facili (accettabili): utilizzare se rpBis rientra nelle specifiche. |
| Da 0,39 a 0,30 | Elementi difficili (accettabili): rivedere attentamente rpBis, utilizzare se rpBis rientra nelle specifiche. |
| Da 0,29 a 0,20 | Elementi molto difficili (forse inaccettabili): rivedere rpBis per un'adeguata discriminazione. Potrebbe essere necessario un riesame da parte delle PMI. |
| Da 0,19 a 0,00 | Articoli inaccettabili: inadeguatamente difficili o altrimenti imperfetti. Deve essere contrassegnato per la rimozione o la revisione da parte delle PMI. |
Quando un articolo risulta essere marginale, gli sviluppatori osservano l'rpBis dell'elemento. Se rpBis è alto, viene data più tolleranza per mantenere quell'oggetto nell'esame.
Valore / i obiettivo / i per gli indici di discriminazione degli articoli
rpBis = da 0,20 a 1,00
Tabella 3: Linee guida rpBis
| RpBis (da forte a debole) | Interpretazione dell'oggetto |
| 1,00 a 0,50 | Molto forte (accettabile) |
| Da 0,49 a 0,30 | Forte (accettabile) |
| Da 0,29 a 0,20 | Accettabile (ma potrebbe essere necessario un riesame) |
| Da 0,19 a 0,10 | Elementi marginali (forse inaccettabili): rivedi attentamente testo e distrattori. |
| Da 0,09 a 0,00 | Oggetti deboli (inaccettabili): i valori di p sono probabilmente molto alti. Flag per rimozione o revisione da parte delle PMI. |
| Da -0,01 a -0,20 | Articoli inaccettabili: inadeguatamente difficili o altrimenti imperfetti. Deve essere contrassegnato per la rimozione o la revisione da parte delle PMI. |
Dopo la valutazione delle statistiche a livello di articolo, vengono prese le decisioni su ogni singolo articolo. Gli articoli possono essere (1) accettati così come sono e inseriti nel pool degli esami live, (2) accettati con modifiche e reinseriti nel pool pretest o (3) rifiutati da ulteriori usi.
Ritorna alla pagina relativa all'efficienza del test e alla difendibilità legale