“Valjanost se odnosi na stupanj do kojeg dokazi i teorija podržavaju tumačenje rezultata testova za predloženu upotrebu testova. Valjanost je stoga najosnovnije razmatranje u razvoju testova i evaluaciji testova.” ( Standardi za obrazovno i psihološko testiranje , str. 11)

Otkako je pandemija počela i industrija testiranja doživjela velike potrese, mnoge rasprave i istraživanja usredotočili su se na valjanost testiranja s daljinskim nadzorom u odnosu na standardno testiranje, no manje smo čuli o valjanosti procesa razvoja daljinskih testova. u odnosu na procese razvoja osobnih testova. Ako ste većinu svojih sastanaka za razvoj testa vodili osobno, ali ste se prebacili na virtualni, jeste li napravili korak unatrag da biste razmotrili valjanost svojih procesa i da li i dalje dobivate isti rezultat izvodeći ih virtualno?

U svijetu razvoja testova, standardna postavka je jedna od najvažnijih komponenti. Proces Standard Setting definira što je prolazna ocjena i što znači da je netko položio ispit. Standardna postavka izravno se povezuje s valjanošću, koja određuje imamo li dokaze za potporu korištenjem rezultata testa za donošenje odluka.

Među aktivnostima razvoja testa, postavljanje standarda je jedinstveni izazov za daljinsko olakšanje zbog sljedećih razmatranja:

Sigurnosni problemi : Stručnjaci za predmetna pitanja (SME) imaju puni pristup ispitnom sadržaju.

Složenost : Proces može biti teško objasniti i probaviti.

Angažman na visokoj razini : Postavljanje standarda kvalitete zahtijeva najvišu razinu angažmana MSP-a. Djelomično ili pasivno sudjelovanje omogućit će da se važni postupci i razmatranja previde i ne preispitaju.

Nije lako revidirati : Jednom kada se završi, standardni skup za test vrlo je teško i zamorno mijenjati. Utvrđeni sniženi rezultati zahtijevaju ogroman trud za ažuriranje, a nakon što se provedu, sve promjene za smanjenje rezultata mogu negativno utjecati na kandidate.

Studije slučaja u nastavku ilustriraju tri uspješna modela za virtualno postavljanje standarda, od kojih svaki uključuje jedinstvene izazove i rješenja.

STUDIJA SLUČAJA #1 : Američki odbor za certifikaciju u ortotici, protetici i pedortici (ABC)

• Posebni izazovi za ispitne programe male količine

STUDIJA SLUČAJA #2 : Komisija za certifikaciju zdravstvenih tumača (CCHI)

• Posebne metode za CHI ™ -španjolski ispit

STUDIJA SLUČAJA #3 : Nacionalno-međudržavno vijeće državnih odbora za kozmetologiju (NIC)

• Specifični procesi i izazovi polu-udaljenog postavljanja standarda za praktične ispite

Za kontekst, postoji 8 ključnih koraka u tipičnom procesu modificirane standardne postavke Angoffa:

1. Zapošljavanje MSP-a
2. Trening
3. Rasprava o minimalno kvalificiranom ili graničnom kandidatu
4. Ocjene vježbe
5. Angoff ocjene: 1. krug
6. Grupna rasprava o označenim stavkama
7. Angoff ocjene: 2. krug
8. Konačni preporučeni rezultat rezanja

STUDIJA SLUČAJA #1: Američki odbor za certifikaciju u ortotici, protetici i pedortici (ABC)

ABC ima više programa malog obujma ispita iz ortotike, protetike i srodnih disciplina. Certifikati mogu raditi tehničke poslove, imati različite razine obrazovanja, a neki čak i rade u uvjetima maloprodaje.

Daljinska standardna postavka pružila je niz prednosti za ABC programe:

• Mala i srednja poduzeća ne moraju putovati
• Štedi na troškovima i naporima koordinacije
• Sposobnost privlačenja mnogo šireg kruga malih i srednjih poduzeća
• Mogućnost zamjene malih i srednjih poduzeća uz malo najave

Remote Standard Setting također je ABC-u predstavljao jedinstvene izazove:

• Sesije se moraju podijeliti na više dana/puta
• Održavanje angažmana malih i srednjih poduzeća je izazovnije
• Tehnologija potrebna za sudjelovanje može predstavljati izazove
• Mala i srednja poduzeća koja rade u maloprodaji ili u kliničkim sredinama možda neće moći obaviti pozive tijekom radnog vremena
• Mala i srednja poduzeća možda nemaju pristup privatnom prostoru za razgovore

ABC preporuča rješavanje gore navedenih izazova za angažman tako što ćete biti proaktivniji u planiranju unaprijed, kreiranjem rasporeda koji je prilagođen malim i srednjim poduzećima i koji može biti izvan uobičajenog radnog vremena te održavanjem angažmana tijekom cijelog procesa. Razmislite o održavanju sastanka "tehnološke prije igre" za testiranje veza i rješavanje problema kako biste izgradili povjerenje u susret i virtualnu suradnju. Jasno objasnite unaprijed potrebnu predanost potencijalnim malim i srednjim poduzećima, uključujući potrebu da budu u privatnom prostoru.

Po dizajnu, osobni sastanci za postavljanje standarda dopuštaju usredotočenu pažnju malih i srednjih poduzeća, tako da je najizazovnija razlika koja postoji na sastancima za postavljanje standarda na daljinu omogućavanje iste razine angažmana i komunikacije kao na učinkovitim, osobnim sastancima za postavljanje standarda.

STUDIJA SLUČAJA #2: Komisija za certifikaciju zdravstvenih tumača (CCHI)

CCHI-jev španjolski ispit zahtijeva posebne metode za rješavanje ispitnih osobitosti kao što su dvojezična (španjolsko-engleska) komponenta izvedbe, format audio zapisa i činjenica da je ocijenjen od strane ljudi. Ti su uvjeti stvorili izazove za CCHI u procesu daljinskog postavljanja standarda, posebno u zapošljavanju i obuci za MSP.

Jedinstveni izazovi u zapošljavanju i obuci za MSP:

• Sigurnosni problemi zahtijevaju poseban naglasak na osobnom i profesionalnom integritetu malih i srednjih poduzeća
• Pismenost malih i srednjih poduzeća na internetskim platformama i interakcija s audiozapisom
• Potrebna značajna brzina širokopojasne veze
• Isporuka audio ispita online malim i srednjim poduzećima (dodatna testna konfiguracija; IT problemi)
• Grupne interakcije su donekle oslabljene (u usporedbi s osobnim) jer nema pristupa drugim malim i srednjim poduzećima izvan zakazanih sastanaka

Daljinski modalitet u standardnim postavkama posebno je koristan za zapošljavanje i obuku za MSP-ove za ovu vrstu ispitnog programa. Postoji više mogućnosti za raznoliko predstavljanje malih i srednjih poduzeća prema njihovoj španjolskoj varijanti i raznoliko predstavljanje malih i srednjih poduzeća prema zdravstvenim postavkama u kojima tumače. Format od 3 sastanka i asinkroni neovisni rad omogućuje malim i srednjim poduzećima da bolje probavljaju informacije i budu promišljeniji u svojim procjenama i preporuke, te je stoga poboljšana neovisna prosudba MSP-a.

Dvojezični ispiti i ispiti koji zahtijevaju sličan format zahtijevaju nestandardni proces i za daljinske i za osobne modalitete. U daljinskom modalitetu, orijentacijski sastanak je neophodan za postavljanje jasnih očekivanja i rješavanje procesnih i tehnoloških aspekata projekta. Više nego vjerojatno će postojati potreba za dodatnom obukom o ljudskom procesu ocjenjivanja, ljestvicama i konvencijama ocjenjivanja. U ovom slučaju, Extended Modified Angoff metoda dopunjena metodom Beuk relativnog apsolutnog kompromisa bila je najučinkovitiji pristup za određivanje reznih rezultata.

STUDIJA SLUČAJA #3: Nacionalno-međudržavno vijeće državnih odbora za kozmetologiju (NIC)

Protokol za daljinsko postavljanje standarda koji se koristi za NIC praktični ispit primjer je specifičnih procesa i izazova polu-udaljenog postavljanja standarda za praktične ispite. Praktični ispit NIC-a je osobni ispit izvedbe koji se koristi za kozmetologiju i srodna područja. Koristi se u više država diljem SAD-a i obično se primjenjuje u uredima odbora ili hotelskim konferencijskim/balskim dvoranama. Ispit se sastoji od više vremenskih dionica, a kandidati su odgovorni za donošenje vlastitih zaliha. Potreban je proktor i ocjenjivači, a u standardni postupak postavljanja uključeno je provođenje lažnog kandidata.

Standardni proces postavljanja za ove ispite promijenio se u hibridni model osobno/na daljinu zbog pandemije i bio je popraćen brojnim novim izazovima. Prije pandemije, sve aktivnosti razvoja testa obavljale su se osobno, a praktična postavka standarda bila je jedina aktivnost razvoja testa za koju je NIC odredio da zahtijeva osobnu prisutnost za lažno ispitivanje kandidata. Postojalo je pitanje hoće li provođenje pregleda ispita putem webinara u stvarnom vremenu ili unaprijed snimljenog prolaska biti jednako učinkovito kao što bi ga mala i srednja poduzeća vidjeli osobno. U konačnici, NIC je odlučio pronaći novo mjesto za sastajanje malih i srednjih poduzeća i pridružiti se moderatoru putem webinara.

Hibridni proces postavljanja standarda na daljinu/osobno uključivao je preliminarnu obuku za MSP, kao i pregled kritičnih standarda i ciljanog kandidata. Postavljena je prostorija koja oponaša postavku ispita i dodijeljene su uloge (kao što su proktor, ispitivači i mjeritelj vremena) za lažno provođenje kandidata. MSP su izvršili i promatrali, ocjenjivali i zatim raspravljali lažni prolazak kandidata. Uslijedila je sesija pitanja i odgovora s lažnim kandidatom. Angoff ocjene su dali MSP-ovi i lažni kandidat prije nego što su završili grupnom raspravom i prilagodbama, a zatim je utvrđen konačni rezultat. Čak i uz virtualnu prilagodbu potrebnih aktivnosti razvoja testa, postojalo je nekoliko izazova za daljinski proces postavljanja standarda.

Izazovi za daljinsko standardno postavljanje

• Ograničen pristup objektima unaprijed
• Tehnologija i/ili audiovizualna oprema možda nisu poznate
• Ispisivanje ažuriranih materijala oduzima više vremena i možda skupo
• Sposobnost voditelja da pruži inpute je ograničena
• Prepreke angažmanu MSP-a
• Sigurna distribucija i kontrola dokumenata
• Neka mala i srednja poduzeća u ovom trenutku manje su vjerojatno da će prisustvovati osobno
• Dodatne odgovornosti padaju na Predstavnika klijenata

Usvajanje daljinskog postavljanja standarda također je pridonijelo nekoliko prednosti ispitnom programu, uključujući nepostojanje ukupnih promjena u praktičnim procesima postavljanja standarda. Održavanje lažnog prolaska kandidata u hotelskoj konferencijskoj sobi bolje oponaša stvarno okruženje za testiranje, a audio/vizualna tehnologija bila je superiornija od uobičajenih postavki sastanka. Širi doseg za zapošljavanje omogućio je novim malim i srednjim poduzećima različite demografske podatke koji su tijekom rasprave bili u mogućnosti pružiti preciznije i opisnije povratne informacije. Također, zbog ograničenja u objektu, vrijeme se učinkovito upravljalo. U konačnici, daljinsko postavljanje standarda bio je učinkovit i prikladan način održavanja programa na pravom putu.

Virtualna standardna postavka može biti alat za spremanje programa kada se pravilno izvrši, uz pažljivo razmatranje razlika između osobnih i virtualnih procesa.

Ključna razmatranja u procesu daljinskog postavljanja standarda :

• Zapošljavanje MSP-a: temeljito pregledajte mala i srednja poduzeća kako biste bili sigurni da im možete vjerovati da će pristupiti testnom sadržaju od kuće i zaposliti više malih i srednjih poduzeća nego što je potrebno u slučaju nestanka u posljednjem trenutku.
• Komunikacija i upravljanje angažmanom MSP-a prije događaja: Jasno ocrtajte razinu predanosti kako MSP-ovi ne bi bili iznenađeni koliko je vremena i truda uključeno u postavljanje standarda.
• Angažman malog i srednjeg poduzetništva tijekom događaja: Razmislite kako možete optimizirati sudjelovanje u svim točkama procesa, kao što je zahtijevanje ili snažno poticanje korištenja kamere za odraz osobnog angažmana.
• Tehnologija: Jasno ocrtajte zahtjeve unaprijed i razmislite o "tehnološkom sastanku prije igre" kako biste osigurali puno sudjelovanje svih. Pobrinite se da korištenje tehnologije koju vodi voditelj i prijelazi budu besprijekorni kako se ne bi gubilo vrijeme.
• Sigurnost: Uzmite u obzir da postoji povećana razina rizika svojstvena udaljenoj standardnoj postavci. Osigurajte da mala i srednja poduzeća potpišu NDA i razumiju svoju odgovornost te ih temeljito pregledajte tijekom procesa zapošljavanja.
• Kreativna rješenja za jedinstvene situacije/ispite: Svaki ispit je jedinstven, ali moguće je prilagoditi virtualni modalitet postavljanja standarda svakoj situaciji – čak i ako je za praktični ispit potreban hibridni model!

I na kraju, najvažnije razmatranje:

Valjanost: Hoćete li dobiti istu razinu valjanosti procesa postavljanja standarda u virtualnom modelu? Hoćete li dobiti isti proizvod (tj. isti rezultat rezanja) kao da ste osobno proveli standardnu postavku?