“Geldigheid verwijst naar de mate waarin bewijs en theorie de interpretaties van testscores voor voorgesteld gebruik van tests ondersteunen. Validiteit is daarom de meest fundamentele overweging bij het ontwikkelen van tests en het evalueren van tests.” ( Normen voor educatieve en psychologische tests , p. 11)
Sinds het begin van de pandemie en de testindustrie een grote opschudding heeft ondergaan, hebben veel discussies en onderzoek zich gecentreerd rond de validiteit van op afstand gesurveilleerde testen versus fysieke testen, maar we hebben minder gehoord over de validiteit van testontwikkelingsprocessen op afstand versus persoonlijke testontwikkelingsprocessen. Als u vroeger de meeste van uw testontwikkelingsvergaderingen persoonlijk hield, maar bent overgestapt op virtueel, heeft u dan een stap terug gedaan om de validiteit van uw processen te overwegen en of u nog steeds hetzelfde resultaat krijgt door ze virtueel uit te voeren?
In de wereld van testontwikkeling is Standard Setting een van de belangrijkste componenten. Het Standard Setting-proces definieert wat een voldoende is en wat het betekent dat iemand geslaagd is voor het examen. Standaardinstelling houdt rechtstreeks verband met validiteit, die bepaalt of we het bewijs hebben om te ondersteunen met behulp van testscores om beslissingen te nemen.
Onder de testontwikkelingsactiviteiten is standaardinstelling een unieke uitdaging om op afstand te faciliteren vanwege de volgende overwegingen:
Beveiligingsproblemen : Subject Matter Experts (MKB's) hebben volledige toegang tot exameninhoud.
Complexiteit : Het proces kan moeilijk uit te leggen en te verteren zijn.
Betrokkenheid op hoog niveau : het instellen van kwaliteitsnormen vereist het hoogste niveau van betrokkenheid van het MKB. Gedeeltelijke of passieve deelname zorgt ervoor dat belangrijke procedures en overwegingen over het hoofd worden gezien en niet worden onderzocht.
Niet gemakkelijk herzien : Eenmaal voltooid, is de standaardset voor een test erg moeilijk en vervelend om te veranderen. Vastgestelde cut-scores vergen een enorme hoeveelheid inspanning om bij te werken, en als ze eenmaal zijn ingevoerd, kunnen eventuele wijzigingen in cut-scores een negatief effect hebben op kandidaten.
De casestudy's hieronder illustreren drie succesvolle modellen voor virtuele standaardinstelling, elk met unieke uitdagingen en oplossingen.
CASE STUDY #1 : American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
- Speciale uitdagingen voor kleine examenprogramma's
CASE STUDY #2 : Certificatiecommissie voor tolken in de gezondheidszorg (CCHI)
- Speciale methoden voor het CHI ™ -Spaans examen
CASE STUDY #3 : National-Interstate Council of State Boards of Cosmetology (NIC)
- Specifieke processen en uitdagingen van een semi-remote standaardinstelling voor praktijkexamens
- MKB werving
- Opleiding
- Bespreking van de minimaal gekwalificeerde of borderline-kandidaat
- Oefenbeoordelingen
- Angoff-beoordelingen: ronde 1
- Groepsdiscussie van gemarkeerde items
- Angoff-beoordelingen: ronde 2
- Definitieve aanbevolen cut-score
CASE STUDY #1: American Board for Certification in Orthotics, Prosthetics and Pedorthics (ABC)
ABC heeft meerdere kleine examenprogramma's in orthesen, protheses en aanverwante disciplines. Gecertificeerden kunnen technische banen hebben, verschillende opleidingsniveaus hebben en sommigen werken zelfs in een winkelachtige omgeving.
Remote Standard Setting bood een aantal voordelen voor ABC's programma's:
- MKB hoeft niet te reizen
- Bespaart op kosten en coördinatie-inspanningen
- Mogelijkheid om een veel bredere achterban van kmo's aan te boren
- Mogelijkheid om kmo's te vervangen met weinig kennisgeving
Remote Standard Setting stelde ABC ook voor unieke uitdagingen:
- Sessies moeten worden opgedeeld in meerdere dagen/tijden
- Het is een grotere uitdaging om de betrokkenheid van het MKB te behouden
- Technologie die nodig is om deel te nemen, kan uitdagingen opleveren
- Kmo's die in de detailhandel of klinische omgevingen werken, kunnen zich mogelijk niet binden aan telefoontjes tijdens werkuren
- Kmo's hebben mogelijk geen toegang tot privéruimte om te bellen
ABC raadt aan om de bovenstaande uitdagingen voor betrokkenheid aan te pakken door proactiever te zijn in het vooruit plannen, een schema op te stellen dat is afgestemd op het MKB en mogelijk buiten de normale kantooruren valt, en betrokkenheid gedurende het hele proces te behouden. Overweeg een 'technology pregame'-vergadering te houden om verbindingen te testen en problemen op te lossen om vertrouwen op te bouwen in virtueel vergaderen en samenwerken. Leg vooraf duidelijk de vereiste inzet uit aan potentiële KMO's, inclusief de noodzaak dat ze zich in een privéruimte bevinden.
Door de opzet zorgen persoonlijke standaardsettingmeetings voor gerichte aandacht van het mkb, dus het meest uitdagende verschil dat aanwezig is bij standaardsettingmeetings op afstand is het faciliteren van hetzelfde niveau van betrokkenheid en communicatie als bij effectieve, persoonlijke standaardsettingmeetings.
CASESTUDY #2: Certificatiecommissie voor tolken in de gezondheidszorg (CCHI)
Het Spaanse examen van CCHI vereist speciale methoden om de eigenaardigheden van het examen aan te pakken, zoals de tweetalige (Spaans-Engels) prestatiecomponent, het audio-opnameformaat en het feit dat het door mensen is beoordeeld. Deze omstandigheden zorgden voor uitdagingen voor CCHI in het proces van normering op afstand, met name bij de werving en training van het MKB.
Unieke uitdagingen in de werving en training van het MKB:
- Beveiligingsproblemen vereisen een speciale nadruk op de persoonlijke en professionele integriteit van kmo's
- Geletterdheid van kmo's op onlineplatforms en interactie met audio
- Vereiste aanzienlijke snelheid van breedbandverbinding
- Online audio-examen afleveren aan MKB (extra testconfiguratie; IT-problemen)
- Groepsinteracties zijn enigszins verzwakt (vergeleken met persoonlijk) omdat er buiten de geplande vergaderingen geen toegang is tot andere KMO's
Tweetalige examens en examens die een vergelijkbare indeling vereisen, vereisen een niet-standaard proces voor zowel externe als persoonlijke modaliteiten. In de modaliteit op afstand is een oriënterende bijeenkomst nodig om duidelijke verwachtingen te stellen en proces- en technologische aspecten van het project aan te pakken. Er zal meer dan waarschijnlijk behoefte zijn aan aanvullende training over het menselijke beoordelingsproces, schalen en beoordelingsconventies. In dit geval was de Extended Modified Angoff-methode, aangevuld met de Beuk Relative-Absolute Compromise-methode, de meest effectieve benadering om de cut-scores te bepalen.
CASE STUDY #3: National-Interstate Council of State Boards of Cosmetology (NIC)
Het protocol voor standaardinstelling op afstand dat wordt gebruikt voor het NIC Praktijkexamen is een voorbeeld van de specifieke processen en uitdagingen van een standaardinstelling op afstand voor praktijkexamens. Het NIC Praktijkexamen is een persoonlijk prestatie-examen dat wordt gebruikt voor cosmetologie en aanverwante gebieden. Het wordt gebruikt in meerdere staten in de VS en wordt meestal beheerd in bestuurskantoren of hotelconferenties/balzalen. Het examen bestaat uit meerdere getimede secties en kandidaten zijn verantwoordelijk voor het meenemen van hun eigen benodigdheden. Een proctor en beoordelaars zijn vereist en een mock-candidate-doorloop is opgenomen in het proces van normering.
Het standaardproces voor deze examens is vanwege de pandemie veranderd in een hybride persoonlijk/op afstand model en ging gepaard met een aantal nieuwe uitdagingen. Voorafgaand aan de pandemie waren alle testontwikkelingsactiviteiten persoonlijk uitgevoerd en praktische standaardinstelling was de enige testontwikkelingsactiviteit die door NIC werd bepaald waarvoor een persoonlijke aanwezigheid nodig was voor de doorloop van de mock-candidate. Er was enige vraag of het uitvoeren van het examen via webinar in realtime of een vooraf opgenomen doorloop net zo effectief zou zijn als het MKB dat het persoonlijk zou zien. Uiteindelijk koos NIC ervoor om een nieuwe locatie te zoeken voor het MKB om elkaar te ontmoeten en een facilitator via webinar te laten deelnemen.
Het hybride proces voor het instellen van standaarden op afstand/persoonlijke aard omvatte een voorbereidende MKB-training, evenals een beoordeling van de kritische normen en de beoogde kandidaat. Er werd een kamer ingericht om een examensetting na te bootsen en rollen (zoals surveillant, examinatoren en tijdwaarnemer) werden toegewezen voor de doorloop van de mock-candidate. De mock-candidate run-through werd uitgevoerd en geobserveerd, beoordeeld en vervolgens besproken door het MKB. Een Q&A sessie met de mock-candidate volgde. Angoff-beoordelingen werden verstrekt door het MKB en de schijnkandidaat alvorens te eindigen met een groepsdiscussie en aanpassingen, en vervolgens werd een definitieve cut-score vastgesteld. Zelfs met de virtuele aanpassing van de vereiste testontwikkelingsactiviteiten waren er verschillende uitdagingen voor het proces van standaardinstelling op afstand.
Uitdagingen voor de standaardinstelling op afstand
- Beperkte toegang tot faciliteiten vooraf
- Technologie en/of audiovisuele apparatuur is mogelijk onbekend
- Het afdrukken van bijgewerkte materialen is tijdrovender en mogelijk duurder
- Het vermogen van de begeleider om deskundige input te geven is beperkt
- Belemmeringen voor MKB-betrokkenheid
- Veilige distributie en controle van documenten
- Sommige kmo's zijn op dit moment minder geneigd om persoonlijk aanwezig te zijn
- Bijkomende verantwoordelijkheden vallen onder de klantvertegenwoordiger
Virtuele standaardinstelling kan een programmabesparend hulpmiddel zijn als het correct wordt uitgevoerd, met zorgvuldige afweging van de verschillen tussen persoonlijke en virtuele processen.
Belangrijkste overwegingen in het proces voor standaardinstelling op afstand :
- Werving van het MKB: screen het MKB grondig om ervoor te zorgen dat u erop kunt vertrouwen dat ze vanuit huis toegang hebben tot testinhoud, en rekruteer meer MKB-bedrijven dan nodig is in het geval van een last-minute uitval.
- Communicatie en mkb-betrokkenheidsbeheer vóór het evenement: Geef duidelijk het niveau van betrokkenheid aan, zodat mkb-ondernemingen niet verrast zijn door hoeveel tijd en moeite het kost om een standaardinstelling te maken.
- Mkb-betrokkenheid tijdens het evenement: Bedenk hoe u de deelname op alle punten in het proces kunt optimaliseren, zoals het vereisen of sterk aanmoedigen van cameragebruik om persoonlijke betrokkenheid te weerspiegelen.
- Technologie: Maak van tevoren een duidelijke beschrijving van de vereisten en overweeg een 'technology pre-game'-vergadering om de volledige deelname van iedereen te garanderen. Zorg ervoor dat door facilitators aangestuurd technologiegebruik en -overgangen naadloos verlopen, zodat er geen tijd wordt verspild.
- Beveiliging: Houd er rekening mee dat er een verhoogd risiconiveau inherent is aan standaardinstelling op afstand. Zorg ervoor dat kmo's NDA's ondertekenen en hun verantwoordelijkheid begrijpen, en screen ze grondig tijdens het wervingsproces.
- Creatieve oplossingen voor unieke situaties/examens: Elk examen is uniek, maar het is mogelijk om de virtuele standaardinstellingsmodaliteit aan te passen aan elke situatie - zelfs als een hybride model nodig is voor een praktijkexamen!
En tot slot de belangrijkste overweging:
Validiteit: Krijgt u hetzelfde niveau van de validiteit van het standaardinstellingsproces in een virtueel model? Krijgt u hetzelfde product (dwz dezelfde snijscore) als wanneer u de standaardinstelling persoonlijk zou uitvoeren?