Organisationer, der udvikler og administrerer onlinetests, skal forstå, at udvikling af testemner handler mere end blot at skrive spørgsmål. For at beskytte både kandidater og testorganisationen skal online testelementer være i stand til at klare de juridiske udfordringer. En juridisk forsvarlig eksamen er en, der er designet til at give alle kandidater en lige mulighed for at vise deres viden og ikke diskriminerer en gruppe baseret på race, farve, national oprindelse, køn, religion eller beskyttet handicap.

Men hvordan kan organisationer sikre, at deres online-test er juridisk forsvarlige? Integrering af en række bedste praksis inden for produktudvikling i testprogrammet kan hjælpe med at sikre, at testemner nøjagtigt og retfærdigt måler viden, færdigheder og evner for alle kandidater i puljen.

Først og fremmest er det at følge en standardproces til udvikling af testemner væsentlig for den juridiske forsvarlighed af online testemner. Denne proces skal omfatte standardiseret træning for alle varemagasiner samt en streng gennemgang og godkendelsesproces. Gennemgangsprocessen inkluderer evaluering af ting som følsomhed, stil, korrekthed, kognitivt niveau og den samlede struktur af alle testemner. En del af den standardiserede gennemgangsproces udføres af fageksperter, og en del udføres af psykometrikere og testudviklingsfagfolk. Da fokus på psykometrisk evaluering og testudviklingsgennemgang er objektivitet, udføres den bedst af testudviklingsfagfolk, ikke kun af fageksperter eller artikelforfattere. Personer, der er trænet i kompleksiteten i psykometrisk evaluering af genstande i et andet, mere kritisk lys end emneeksperter eller artikelforfattere, og er mere effektive til at sikre objektivitet af testemner.

For det andet kan organisationer forbedre den juridiske forsvarlighed af onlinetests med løbende dataindsamling og analyse af testresultater. Brug af målinger til at evaluere ydelsen af online testemner i feltet og til at bestemme testresponsmønstre kan sikre, at ingen gruppe reagerer forskelligt på spørgsmål overalt.

Analyse af objektets svardata (den måde, hvorpå kandidaterne svarer på et emne) kan identificere, om terminologi eller beskrivelser inden for et emne er upassende for visse dele af kandidatpopulationen. Overraskende kan ændringen af kun få ord i et eksamenselement have en væsentlig indflydelse på kandidatens præstation. For eksempel, når man udvikler elementer til en bestemt licenseksamen, fandt det, at en bestemt artikelforfatter kunne lide at bruge ordet "pilfer" i stedet for "stjæle." Da ordet "pilfer" ikke havde nogen betydning for det licensområde, der testes, og ordet "stjæle" er et mere almindeligt ord kendt på tværs af forskellige etniske og socioøkonomiske grupper, idet det ændrede ord blev skabt et mere gyldigt element til hele testen befolkning. Efteradministrationsanalyse bekræftede, at ændringen skabte en mere retfærdig produktydelse.

Endelig kan en skriftlig oversigt over testprogrammets løbende udvikling og evaluering tjene som beskyttelse i tilfælde af juridisk udfordring. En testudviklingsproces er kun gyldig, hvis den er dokumenteret. Dokumentation skal omfatte den jobanalyse, som artikeldriftopgaver er baseret på, og kvalifikationerne fra fageksperter og testudviklingspersonale, der er involveret i artiklenes udvikling og gennemgangscykler. Data for emne- og eksamensniveau skal også gemmes efter evaluering sammen med standardindstillingsoplysninger og tilhørende scoringsmetoder.

Når der gennemføres en gennemgang af eksamener, der er blevet anfægtet ved en domstol, bliver det hurtigt tydeligt, at det ikke altid er de "bedste" eksamener, der er succesrige mod en juridisk udfordring. Eksamenerne, der tåler en juridisk udfordring, er typisk de eksamener, der fulgte standardiseret, industri-accepteret testudviklingspraksis og dokumenteret deres trin undervejs. Uden proces og dokumentation kan selv eksamener, der fungerer godt, undlade at imponere domstolene.

Organisationer, der udvikler og administrerer onlinetests, skal altid designe deres eksamensindhold og score med potentielt ugunstige juridiske scenarier for øje. Tilsætningen af denne bedste praksis i en eksisterende testproces vil gøre en lang vej mod at mindske sandsynligheden for juridiske udfordringer og om nødvendigt adressere retssager:

• Standardisering af testartikeludvikling
• Strenge genstandsgennemgang og godkendelsesprocesser
• Løbende dataindsamling og analyse af eksamens- og genstandsresultater
• Dokumentation af testudviklingsprocesser og løbende evaluering

Den viden, som organisationer forsøger at måle, er objektiv, og ved at implementere ovenstående bedste praksis kan organisationer hjælpe med at sikre, at deres eksamener også er objektive.

Tilbage til siden Testeffektivitet og juridisk forsvarlighed