Organizacije koje razvijaju i isporučuju računalne testove susreću se s mnogim istim izazovima kao i one koje rade s tradicionalnim testovima papira i olovke, uključujući pitanja koja se odnose na sigurnost, psihometrijsko uređivanje i pravnu obranu. Nova pitanja javljaju se i s računalnim testiranjem (CBT), točnije jer se testovi široko primjenjuju putem interneta. Ti problemi uključuju povećani rizik od varanja kandidata i prekomjernu ekspoziciju predmeta.
Da bi se suočile sa trenutnim izazovima koje predstavlja testiranje općenito, kao i neka od novih pitanja koja se tiču CBT-a, organizacije moraju slijediti standardne procese za razvoj predmeta i psihometrijsko uređivanje. Na primjer, upotreba više pisača predmeta za razvoj sadržaja testa uobičajena je praksa, ali može dovesti do odstupanja u stilu, formatu i poteškoćama testnih predmeta. Vodič za stil s predlošcima i standardima i pravilima za razvoj predmeta može poboljšati dosljednost, format i raznolikost predmeta. Osim toga, obuka za razvoj sadržaja može osigurati da pisci imaju alate za razvoj vjerodostojnih, obranih stavki i predložaka predmeta koji se mogu koristiti za stvaranje različitih varijacija istog pitanja, povećavajući na taj način veličinu banke predmeta u kraćem vremenu.
Statistička procjena ispitnih predmeta na terenu omogućuje organizacijama dobivanje povratnih informacija o specifičnim performansama i kognitivnim razinama. Ta inteligencija omogućava reviziju procesa razvoja predmeta i povratne informacije za određene programere testnih predmeta - pomažući u utvrđivanju što je učinkovito i kako stavke funkcioniraju na terenu. To također omogućuje organizaciji da donosi odluke o zadržavanju, izmjeni i dodjeljivanju predmeta.
Svaka organizacija koja razvija ili primjenjuje testove trebala bi biti svjesna psihometrijskog uređivanja - onoga koji uključuje procjenu razine težine predmeta i uzima u obzir stvari poput gramatike, osjetljivosti i stila. Psihometrija također omogućuje pregled oblika i funkcije testnog predmeta, poput paralelnih opcija, dovoljno informacija za odgovor na pitanje i duljinu odgovora.
S obzirom na važnost objektivnosti, psihometrijsko uređivanje najbolje provode stručnjaci za razvoj testova, a ne stručnjaci za teme ili pisci predmeta. Pojedinci obučeni za složenost psihometrijskog uređivanja ocjenjuju stavke u različitom, kritičkom svjetlu od stručnjaka za teme ili pisca predmeta. Važno je, međutim, izvršiti i pregled i odobrenje konačnog, uređenog predmeta od strane stručnjaka iz odgovarajućeg područja.
Stavke razvijene za CBT i PPT moraju se pravno braniti kako bi se osigurala zaštita u slučaju pravnog prigovora. Da bi osigurale pravnu obranu, organizacije moraju implementirati standardni postupak razvoja predmeta i psihometrijskog pregleda, kao što je gore diskutirano.
Vrednovanje pravne odgovornosti uključuje kritički pregled ispita i sa sadržajne i s psihometrijske perspektive kako bi se osiguralo da je ispit razvijen u skladu sa Standardom za obrazovno i psihološko ispitivanje . Sudovi se pridržavaju standarda prilikom ocjene vjerodostojnosti ispita. Zakonska opravdanost može se postići nekoliko metodologija. Najvažniji aspekt razvojnog procesa je slijediti i dokumentirati standardizirane metodologije i uključiti odgovarajuće osoblje za razvoj testa u proces. Postoji mnogo različitih koraka u procesu razvoja testa i različite metodologije koje se mogu koristiti za svaki korak. Na primjer, pri određivanju ocjenjivanja za ispit, postupci poput Modificiranog angofa ili Metoda oznaka mogu se koristiti za određivanje odgovarajućeg standarda za polaganje. Svaka od metoda koristi drugačiju tehniku za određivanje trake koju kandidat mora dostići da bi primio prolazni status.
Kako bi umanjili rizik od prekomjerne izloženosti predmeta, tvrtke za testiranje razvijaju velike banke ispitnih predmeta iz kojih se sadržaj testova rutinski osvježava. Preuzevši vodeće programere i administratore testova, organizacije koje upravljaju računalnim testovima htjet će razmotriti korištenje proširenih banaka i planirano osvježavanje testnih predmeta kako bi osigurali da kandidati ne vide iste stavke ili nacrte, što u načelu smanjuje vjerojatnost dijeljenja kandidata informacija.
U mnogim programima za testiranje s visokim ulozima, administratori ispitivanja prikupljaju i ispituju forenzičke podatke kako bi izmjerili koliko su često kandidati za testiranje izloženi određenim ispitnim predmetima, prosječno vrijeme koje kandidati provode na predmetima i kako se odgovori kandidata na stavke mijenjaju tijekom vremena i izloženosti. To osigurava kontinuirano prilagođavanje procesa razvoja predmeta i sadržaja kako bi se osigurala vjerodostojnost, zakonitost i sigurnost.
Postoje i različite metodologije za analizu rezultata kandidata nakon ispitivanja. Jedna od takvih vrsta analiza je i diferencijalna analiza predmeta, koja ocjenjuje rad grupe na ispitnim predmetima (grupe se mogu definirati spolom, etničkom pripadnošću ili drugim čimbenicima). Stavke koje se po različitim kandidatima ostvaruju znatno drugačije ponovno se ocjenjuju kako bi se utvrdila buduća upotreba.
Mnoštvo čimbenika koje treba razmotriti pri razvoju sadržaja za računalno testiranje svu vjerodostojnost i cjelovitost samog ispita. Organizacije koje su sposobne promišljeno razmotriti dizajn i provedbu svojih programa testiranja proaktivno su bolji od organizacija koje prelaze na računalno testiranje u žurbi. Proaktivni pristup koji obrađuje resurse za razvoj i uređivanje stavki, kao i sigurnosne i IT parametre, služi organizaciji bolje na duže relacije, jer povećava valjanost ispitivanja, poštenost kandidata i nudi višu razinu zaštite od pravnih izazova.
Povratak na stranicu o učinkovitosti ispitivanja i pravnoj sposobnosti