Razlozi za testiranje

Svaki program testiranja mora razviti procese za uključivanje novih sadržaja u svoje ispite. Predbilježba predmeta prije njihove upotrebe kao ocjene predmeta na ispitu se vrši iz dva ključna razloga:

1. Statističko ocjenjivanje predmeta: Ispitivanje predmeta omogućava prikupljanje statistika o učinku kandidata za svaku novu stavku. Bez obzira koliko zvučan proces razvoja testa, kvalitetni će se proizvodi neočekivano izvršiti unutar populacije kandidata. Procjenom statistike predtestiranja može se potvrditi da novorazvijene stavke djeluju unutar prihvatljivih statističkih parametara prije predmeta koji utječu na ocjenu kandidata.
2. Prikupljanje statistika za izjednačavanje: Kako bi se osiguralo da svaki kandidat dobije ispit izjednačene poteškoće, prethodno izjednačavanje obrazaca za ispitivanje je željena metoda razvoja testa. Administracija ispita iz cjelokupne banke do određene razine poteškoće zahtijeva da aktivni predmeti korišteni u banci ispita imaju statističke podatke povezane s njima. Kontinuirani, standardizirani postupak prethodnog testiranja kontinuirano hrani banku predmeta i osigurava da se može izvršiti prethodno izjednačavanje.

Procjena predmeta i prethodno izjednačavanje osmišljeni su tako da stvore valjani postupak testiranja koji je fer prema svim kandidatima. Kombinacija ovih procesa u cjelokupnom razvojnom planu osigurava da svaka stavka uživo predstavljena kandidatima bude uspješna i da svaki kandidat dobije ispit izjednačene poteškoće. To stvara osnovu za testni program koji se može braniti.

Sljedeće informacije pokrivaju glavna razmatranja za bilo koji program koji uključuje postupak predtestiranja.

Način isporuke

Postoje različite metodologije za predtestiranje - dvije glavne metodologije su (1) zasebni obrasci za predtestiranje i (2) predtestiranje ugrađeni u postojeći obrazac.

Posebni obrasci za predtestiranje

Neki programi više vole potpuno odvojiti postupak predteziranja od uprave ispita uživo. Da bi se postigao taj cilj, potrebno je stvoriti odvojena pretestna ispitivanja koja se mogu dati kandidatskoj populaciji. Čitavi predtestni ispiti stvaraju se s istim udjelom predmeta koji su prisutni na obrascu za ispitivanje uživo. Odvojeni obrasci za predtestiranje obično se daju kandidatima za volontiranje tijekom posebnih testiranja. Kandidati za volontere trebali bi što je moguće bliže predstavljati istu vrstu kandidata koja obično polaže ispit uživo.

Prednosti ovog pristupa su u tome što iskustvo testiranja uživo ne utječe na bilo koji način. Kandidati koji sudjeluju u pretprostranjenim sesijama to rade dobrovoljno i s potpunom sviješću o procesu. Nedostaci ovog pristupa uključuju (1) produženi vremenski okvir za prikupljanje podataka i (2) potencijalno iskrivljenje kandidatskog skupa i naknadno pretestnih podataka. Kad se postupak predtestiranja oslanja na volontere, obično je potrebno duže vrijeme da se prikupi dovoljno veliki uzorak kandidata koji će omogućiti analizu podataka pretesta. Pored toga, postupak koji se oslanja na kandidate za volontere inherentno mijenja sastav baze kandidata. Kako su tipično motivirani, najuspješniji kandidati koji će dobrovoljno položiti ispit prije ispitivanja, popis kandidata više nije predstavnik cijelog niza osoba koje polažu ispit uživo. Ova potencijalna izmjena baze kandidata s pretežno visokim performansama može prekrivati rezultirajuće podatke o prethodnom ispitivanju.

Predbilježbe stavke ugrađene u postojeći obrazac

Druga metodologija predtestiranja uključuje uključivanje malog postotka predmeta s prethodnim testiranjem u postojeće ispitne forme. Ova metodologija omogućava postupno predtestiranje predmeta tijekom redovnih pregleda ispita. Prednost ovog pristupa je u tome što su kandidati koji reagiraju na stavke s prethodnim testovima isti kandidati koji polažu ispit uživo - što uvelike eliminira mogućnost onečišćenja baze kandidata. Budući da ovaj postupak ne uključuje upotrebu volontera, on također omogućuje prikupljanje podataka o prethodnim testovima na najučinkovitiji način, smanjujući kašnjenja u prikupljanju podataka zbog dugog vremena zapošljavanja volontera.

Nedostaci ovog pristupa uključuju proširenje broja predmeta na ispitu. Povećanje broja predmeta na ispitu može povećati anksioznost i umor kandidata kod odgovaranja na pitanja na ispitu. Drugo, manji broj predmeta s prethodnim testovima testira se unutar postojećih obrazaca nego u zasebnim predtestovnim obrascima. Stoga se mora uspostaviti protokol za rotiranje predmeta s prethodnom provjerom u razumnom vremenskom roku.

Otkrivanje kandidata

Većina stručnjaka za razvoj testova preporučila bi da se postupak testiranja otkrije kandidatima prije ispitne administracije. Postoje mogućnosti, međutim, s obzirom na to koliko se informacija otkriva kandidatskoj populaciji.

1. Poznavanje broja predmeta s prethodnim testovima: Kandidatima se obično ispituje prije ispita koliko predmeta koji će se pojaviti na ispitu. Kandidati su također obaviješteni da predtestovne stavke neće utjecati na njihov ukupni rezultat.
2. Poznavanje točnih stavki za prethodni test: Obično se kandidatima ne kaže koje su to stavke. To se radi kako bi se osiguralo da kandidati odgovore na predtestovne predmete na isti način na koji odgovore na ispitima uživo (s ravnopravnom željom da ispravno odgovore na stavku).

Način prezentacije

Ako su predtestirani predmeti ugrađeni u postojeći obrazac, postoje različiti načini prezentacije predmeta s predprotestom. U nastavku su opisane tri metodologije.

1. Početak ispita: Svi predtestirani predmeti mogu se predstaviti u odjeljku na početku ispita.
2. Kraj ispita: Svi predtestovski predmeti mogu se predstaviti u odjeljku na kraju ispita.
3. Distribuira se kroz ispit: Predmeti se mogu distribuirati u odgovarajućim odjeljcima sadržaja unutar ispita.

Kako bi osigurali da kandidati odgovore na predtestovne predmete kao što bi bili aktivni predmeti na ispitu, Prometric preporučuje da se predtestirani predmeti distribuiraju kroz ispitni obrazac. Na taj se način osigurava da kandidati ne pogode odjeljak za prethodni test i na taj način izmijene izvedbu na tim stavkama.

Postotak predmeta s prethodnim provjerama u postojećem obliku

Obično se preporučuje da predtestirani predmeti ne prelaze 10% ukupnog broja predmeta na ispitu (npr. Ispit od 40 predmeta ne smije sadržavati više od 4 predmeta s prethodnim testiranjem). Ograničavanje broja predmeta s prethodnim testovima smanjuje mogućnost zamor kandidata i obično uklanja potrebu za produljenjem vremena testiranja.

Broj izloženosti kandidata prije analize

Za klasičnu teoriju ispitivanja, Prometric preporučuje minimalno 100 izloženosti kandidata po stavci s prethodnim ispitivanjem kako bi se procijenila statistička održivost. Dodatne izloženosti kandidata (iznad minimalno 100) povećavaju stabilnost podataka o kandidatima i povećavaju općenitost rezultata s prethodnim testovima.

Optimalni parametri za prijelaz stavke Pretest to Live

Sljedeći odjeljak opisuje opće smjernice pomoću kojih Prometric interni psihometričari ocjenjuju stavke s prethodnim testovima. Iako se pojedinačni programi mogu razlikovati, ove su upute korisne za svrhe cjelokupne evaluacije. Imajte na umu da se ove smjernice primjenjuju samo na one programe koji koriste klasičnu teoriju ispitivanja.

Tablica 1: Sažetak statističkih specifikacija

Prihvatljivi rasponi su veći od optimalnih i navedeni su u nastavku

Namjereni raspon teškoća s predmetima

P-vrijednost = 0,30 do 0,89

Prometričko osoblje obučeno je da prepoznaje da pojedinačne p-vrijednosti ne predstavljaju apsolutnu, ponovljivu vrijednost niti zahtijevaju konkretno tumačenje. Umjesto toga, prometrički psihometričari pregledavaju sve dostupne podatke o analizi predmeta kako bi procijenili trendove. Napomena: samo p-vrijednosti nisu dovoljne za većinu interpretacija predmeta. Sve osnovne stavke pregleda sadrže p-vrijednosti i rpBis prije donošenja odluka o raspoređivanju predmeta.

Tablica 2: smjernice p-vrijednosti

Kada se ustanovi da je stavka marginalna, programeri pregledavaju rpBis. Ako je rpBis visok, daje se više tolerancije za zadržavanje tog predmeta na ispitu.

Ciljna vrijednost (e) za indekse diskriminacije predmeta

rpBis = 0,20 do 1,00

Tablica 3: rpSmjernice

Nakon procjene statistike na razini predmeta, donose se odluke o svakoj pojedinačnoj stavci. Stavke se mogu (1) prihvatiti kao što su i smjestiti u bazen s ispitima uživo, (2) prihvatiti modifikacije i ponovno unijeti u pretestni bazen ili (3) odbiti iz daljnje uporabe.

Povratak na stranicu o učinkovitosti ispitivanja i pravnoj sposobnosti