Razlogi za preizkušanje

Vsak program testiranja mora razviti postopke za vključitev novih vsebin v svoje preglede. Predtestiranje predmetov pred njihovo uporabo kot ocenjenih predmetov na izpitu v živo poteka iz dveh ključnih razlogov:

1. Statistično vrednotenje postavk: predpreizkušanje elementov omogoča zbiranje statističnih podatkov o uspešnosti kandidata za vsako novo postavko. Ne glede na to, kako kvaliteten je bil postopek razvoja preizkusa, je mogoče, da kakovostni predmeti nepričakovano nastopijo znotraj kandidatne populacije. Ocenjevanje statistike predhodnih preizkusov omogoča potrditev, da novo razvite postavke delujejo v sprejemljivih statističnih parametrih pred postavko, ki vpliva na oceno izpita kandidata.
2. Zbiranje statističnih podatkov za izenačenje: Da bi zagotovili, da vsak kandidat prejme izpit enakovredne težavnosti, je predhodno izenačenje izpitnih obrazcev želen način razvoja testa. Za opravljanje izpitov iz celotne banke do določene stopnje zahtevnosti je potrebno, da se v živih predmetih, ki se uporabljajo v izpitni banki, z njimi povezujejo statistični podatki. Nenehni, standardizirani postopek predhodnega preizkušanja nenehno napaja banko izdelkov in zagotavlja, da se lahko izvede predhodno enačenje.

Ocenjevanje predmeta in predhodno enačenje sta zasnovana tako, da ustvarita veljaven postopek testiranja, ki je pravičen za vse kandidate. Kombinacija teh procesov v celotnem razvojnem načrtu zagotavlja, da je vsaka postavka, ki je bila predstavljena kandidatom, uspešna in da vsak kandidat prejme izpit za enakopravnost. To ustvarja temelje za zaščitljiv preizkusni program.

Naslednje informacije zajemajo glavne ugotovitve vseh programov, ki vključujejo postopek predhodnega preizkušanja.

Način dostave

Za predtestiranje so na voljo različne metodologije - dve glavni metodologiji sta (1) ločeni predtestirani obrazci in (2) predtestiranje, vgrajeni v obstoječo obliko.

Ločeni obrazci za predhodni preizkus

Nekateri programi raje popolnoma ločijo postopek predhodnega preizkušanja od administracije izpita v živo. Za dosego tega cilja je treba ustvariti ločene pretestne preglede, ki jih je mogoče uporabiti kandidatni populaciji. Celotni predtekmovalni izpiti so ustvarjeni z enakim deležem predmetov, ki so prisotni na obrazcu izpita v živo. Ločeni predtekstitveni obrazci se običajno dajejo prostovoljnim kandidatom med posebnimi upravami za predtestiranje. Kandidati za prostovoljce bi morali čim bolj zastopati isto vrsto kandidatov, ki bi se običajno opravljali z izpitom v živo.

Prednosti tega pristopa so, da izkušnje s testiranjem v živo na noben način ne vplivajo. Kandidati, ki sodelujejo na sestankih predhodnega testiranja, to storijo prostovoljno in s polnim zavedanjem o postopku. Pomanjkljivosti tega pristopa vključujejo (1) podaljšani časovni okvir za zbiranje podatkov in (2) potencialno nagibanje skupine kandidatov in poznejših podatkov pred preskusom. Kadar se postopek predtestiranja zanaša na prostovoljce, običajno traja daljše obdobje, da se zbere dovolj velik vzorec kandidatov, da lahko omogočimo analizo podatkov predtestov. Poleg tega postopek, ki temelji na prostovoljnih kandidatih, sam po sebi spremeni sestavo skupine kandidatov. Ker so po navadi motivirani, zelo uspešni kandidati, ki bodo prostovoljno opravili predhodni izpit, kandidatna skupina več ne predstavlja celotnega kroga posameznikov, ki opravljajo izpit v živo. Ta potencialna sprememba skupine kandidatov s pretežno visokimi izvajalci lahko izkrivi izsledke predhodnih preskusov.

Predizvedbeni predmeti, vdelani v obstoječi obrazec

Druga metodologija predhodnega preizkušanja vključuje vključitev majhnega odstotka predtestov v obstoječih obrazcih za preverjanje. Ta metodologija omogoča postopno predhodno preizkušanje predmetov med rednimi izpitnimi upravami. Prednost tega pristopa je, da so kandidati, ki se odzivajo na predtekmovalne predmete, enaki kandidati, ki opravljajo izpit v živo - kar v veliki meri odpravlja možnost onesnaženja skupine kandidatov. Ker ta postopek ne vključuje uporabe prostovoljcev, omogoča tudi zbiranje podatkov predtestov na najučinkovitejši način, kar zmanjšuje zamude pri zbiranju podatkov zaradi dolgotrajnega zaposlovanja prostovoljcev.

Pomanjkljivosti tega pristopa vključujejo povečanje števila točk na izpitu. Povečanje števila predmetov na izpitu lahko poveča anksioznost in utrujenost kandidatov pri odgovarjanju na vprašanja na izpitu. Drugič, v obstoječih oblikah se preskuša manjše število predtestov, kot pa v ločenih predtestovnih obrazcih. Zato je treba sestaviti protokol za zasukavanje prednastavljenih elementov v razumnem časovnem okviru.

Razkritje kandidatk

Večina strokovnjakov za razvoj testov bi priporočila, da se postopek predtestiranja razkrije kandidatom pred vodenjem izpita. Obstajajo pa možnosti, koliko podatkov se razkrije kandidatski populaciji.

1. Poznavanje števila predmetov s predtestiranjem: Kandidatom se običajno pred izpitom pove, koliko predmetov, ki se bodo pojavili na izpitu. Kandidati so prav tako obveščeni, da predtekmovalni predmeti ne bodo vplivali na njihovo skupno oceno.
2. Poznavanje natančnih predmetov predtestov: Običajno kandidatom ne povemo natančno, kateri so predtekstveni predmeti. To je storjeno tako, da kandidati na prednastavljene predmete odgovarjajo na enak način, kot na predmete izpita v živo (z enako željo, da na zadevo odgovorijo pravilno).

Način predstavitve

Če so prednaročeni predmeti vstavljeni v obstoječo obliko, obstajajo različni načini predstavitve predtestov. Spodaj so opisane tri metodologije.

1. Začetek izpita: Vsi predtekmovalni predmeti so lahko predstavljeni v oddelku na začetku izpita.
2. Konec izpita: Vsi predtekmovalni predmeti se lahko predstavijo v razdelku na koncu izpita.
3. Razdeljeno med celotnim izpitom: Predmeti se lahko porazdelijo v ustrezne vsebinske odseke znotraj izpita.

Da bi zagotovili, da kandidati odgovarjajo na predtekmovane predmete, kot bi bili v živo na izpitu, Prometric priporoča, da se predtekstitveni predmeti razporedijo po celotnem izpitnem obrazcu. To pomaga zagotoviti, da kandidati ne ugibajo poglavja o predhodnem preizkusu in zato spremenijo svojo uspešnost pri teh predmetih.

Odstotek predhodnih preizkusnih postavk v obstoječi obliki

Običajno je priporočljivo, da predtekmovalni predmeti ne presegajo 10% vseh predmetov na izpitu (npr. Izpit za 40 predmetov ne bi smel vsebovati več kot 4 predtekmovalne predmete). Omejevanje števila elementov s predhodnimi preskusi zmanjšuje možnost utrujenosti kandidata in običajno odpravlja potrebo po podaljšanju časa testiranja.

Število izpostavljenosti kandidatov pred analizo

Za klasično preskusno teorijo Prometric priporoča najmanj 100 izpostavljenosti kandidatov na postavko pred preskusom, da bi ocenili statistično sposobnost. Dodatne izpostavljenosti kandidatov (nad najmanj 100) povečajo stabilnost podatkov o kandidatu in povečajo splošnost rezultatov pred preskusom.

Optimalni parametri za prehod predmeta Pretest v živo

V naslednjem razdelku so opisane splošne smernice, s katerimi notranji psihometriki Prometric ocenjujejo predtestirane predmete. Čeprav se posamezni programi lahko razlikujejo, so te smernice koristne za splošno ocenjevanje. Upoštevajte, da te smernice veljajo samo za tiste programe, ki uporabljajo klasično preskusno teorijo.

Tabela 1: Povzetek statističnih specifikacij

Sprejemljivi razponi so večji od optimalnih in so razloženi spodaj

Predvideni obseg težav s predmeti

P-vrednost = 0,30 do 0,89

Prometrično osebje je usposobljeno, da prepozna, da posamezne vrednosti p ne predstavljajo absolutne, ponovljive vrednosti niti ne zahtevajo konkretne razlage. Prometrični psihometriki raje pregledajo vse razpoložljive podatke o analizi izdelkov, da ocenijo trende. Opomba: samo vrednosti p niso zadostne za večino razlag artiklov. Vsi osnovni pregledi postavk vključujejo p-vrednosti in rpBis pred odločitvijo o razporeditvi.

Tabela 2: Smernice p-vrednosti

Ko se ugotovi, da je izdelek nepomemben, razvijalci pogledajo rpBis. Če je rpBis visok, se dodeli več tolerance, da se ta predmet obdrži na izpitu.

Ciljna vrednost (e) za indekse diskriminacije postavk

rpBis = 0,20 do 1,00

Tabela 3: rpSmernice

Po oceni statistike ravni postavke se o vsaki posamezni postavki sprejmejo odločitve. Elemente je mogoče (1) sprejeti tako, kot je in jih vstaviti v skupino izpitov v živo, (2) sprejeti s spremembami in ponovno vnesti v predtekmovalni bazen ali (3) zavrniti pri nadaljnji uporabi.

Vrni se na stran o učinkovitosti in pravni zaščitnosti