“Mae dilysrwydd yn cyfeirio at y graddau y mae tystiolaeth a theori yn cefnogi dehongliadau sgorau prawf ar gyfer defnydd arfaethedig o brofion. Dilysrwydd, felly, yw’r ystyriaeth fwyaf sylfaenol wrth ddatblygu profion a gwerthuso profion.” ( Safonau ar gyfer Profion Addysgol a Seicolegol , t. 11)

Ers i'r pandemig ddechrau ac i'r diwydiant profi brofi ad-drefnu mawr, mae llawer o drafod ac ymchwil wedi canolbwyntio ar ddilysrwydd profion wedi'u procio o bell yn erbyn profion brics a morter, ond rydym wedi clywed llai am ddilysrwydd prosesau datblygu profion o bell. yn erbyn prosesau datblygu profion personol. Os oeddech chi'n arfer cynnal y rhan fwyaf o'ch cyfarfodydd datblygu prawf yn bersonol ond wedi symud i rithwir, a ydych chi wedi cymryd cam yn ôl i ystyried dilysrwydd eich prosesau ac a ydych chi'n dal i gael yr un canlyniad trwy eu perfformio'n rhithwir ai peidio?

Ym myd datblygu prawf, mae Gosod Safonol yn un o'r cydrannau pwysicaf. Mae'r broses Gosod Safonol yn diffinio beth yw sgôr pasio, a beth mae'n ei olygu bod rhywun wedi llwyddo yn yr arholiad. Mae Gosod Safonau yn cysylltu'n uniongyrchol â dilysrwydd, sy'n pennu a oes gennym y dystiolaeth i gefnogi defnyddio sgoriau prawf i wneud penderfyniadau.

Ymhlith gweithgareddau datblygu prawf, mae Gosod Safonol yn heriol unigryw i'w hwyluso o bell oherwydd yr ystyriaethau canlynol:

Pryderon ynghylch Diogelwch : Mae gan Arbenigwyr Pwnc (BBaCh) fynediad llawn at gynnwys arholiadau.

Cymhlethdod : Gall fod yn anodd esbonio a deall y broses.

Ymgysylltiad Lefel Uchel : Mae Pennu Safonau Ansawdd yn gofyn am y lefel uchaf o ymgysylltiad BBaChau. Bydd cyfranogiad rhannol neu oddefol yn caniatáu i weithdrefnau ac ystyriaethau pwysig gael eu hanwybyddu a heb eu harchwilio.

Heb ei Ddiwygio'n Hawdd : Unwaith y bydd wedi'i gwblhau, mae'r set safonol ar gyfer prawf yn anodd iawn ac yn ddiflas i'w newid. Mae angen ymdrech aruthrol i ddiweddaru sgorau toriadau sefydledig, ac ar ôl eu gweinyddu, gall unrhyw newidiadau i sgorau torri gael effaith andwyol ar ymgeiswyr.

Mae'r astudiaethau achos isod yn dangos tri model llwyddiannus ar gyfer Gosod Safonau rhithwir, pob un yn cynnwys heriau ac atebion unigryw.

ASTUDIAETH ACHOS #1 : Bwrdd America ar gyfer Ardystio mewn Orthoteg, Prostheteg a Phedortheg (ABC)

• Heriau arbennig ar gyfer rhaglenni arholiadau cyfaint bach

ASTUDIAETH ACHOS #2 : Comisiwn Ardystio Dehonglwyr Gofal Iechyd (CCHI)

• Dulliau arbennig ar gyfer arholiad CHI™ -Sbaeneg

ASTUDIAETH ACHOS #3 : Byrddau Cosmetoleg (NIC) Cyngor Gwladol Interstate

• Prosesau a heriau penodol gosod safon lled-bell ar gyfer arholiadau ymarferol

Ar gyfer y cyd-destun, mae 8 cam allweddol ym mhroses Gosod Safonol Angoff Addasedig nodweddiadol:

1. Recriwtio BBaChau
2. Hyfforddiant
3. Trafodaeth ar yr ymgeisydd lleiaf cymwys neu ffiniol
4. Graddfeydd ymarfer
5. Sgoriau Angoff: rownd 1
6. Trafodaeth grŵp ar eitemau a fflagiwyd
7. Sgoriau Angoff: rownd 2
8. Sgôr toriad terfynol a argymhellir

ASTUDIAETH ACHOS #1: Bwrdd America ar gyfer Ardystio mewn Orthoteg, Prostheteg a Phedortheg (ABC)

Mae gan ABC nifer o raglenni arholiad cyfaint bach mewn orthoteg, prostheteg, a disgyblaethau cysylltiedig. Gall tystysgrifwyr weithio swyddi technegol, bod â lefelau amrywiol o addysg, a gall rhai hyd yn oed weithio mewn lleoliadau tebyg i fanwerthu.

Darparodd Gosod Safonau Anghysbell nifer o fanteision i raglenni ABC:

• Nid oes angen i BBaChau deithio
• Yn arbed costau ac ymdrech gydlynu
• Y gallu i fanteisio ar etholaeth lawer ehangach o fusnesau bach a chanolig
• Y gallu i ddisodli busnesau bach a chanolig heb fawr o rybudd

Roedd Gosod Safonau Anghysbell hefyd yn cyflwyno heriau unigryw i ABC:

• Mae angen rhannu'r sesiynau yn sawl diwrnod/amser
• Mae cynnal ymgysylltiad BBaChau yn fwy heriol
• Gall y dechnoleg sydd ei hangen i gymryd rhan gyflwyno heriau
• Mae’n bosibl na fydd busnesau bach a chanolig sy’n gweithio mewn lleoliadau manwerthu neu glinigol yn gallu ymrwymo i alwadau yn ystod oriau gwaith
• Efallai na fydd gan BBaChau fynediad i ofod preifat i fod ar alwadau

Mae ABC yn argymell mynd i’r afael â’r heriau uchod i ymgysylltu drwy fod yn fwy rhagweithiol wrth gynllunio ymlaen llaw, creu amserlen sydd wedi’i theilwra ar gyfer y BBaChau ac a allai fod y tu allan i oriau busnes arferol, a chynnal ymgysylltiad drwy gydol y broses. Ystyriwch gael cyfarfod “pregame technoleg” i brofi cysylltiadau a datrys problemau i feithrin hyder wrth gyfarfod a chydweithio’n rhithwir. Eglurwch yn glir yr ymrwymiad gofynnol ymlaen llaw i ddarpar BBaChau, gan gynnwys yr angen iddynt fod mewn man preifat.

O ran dyluniad, mae cyfarfodydd gosod safonau personol yn caniatáu sylw penodol gan BBaChau, felly'r gwahaniaeth mwyaf heriol mewn cyfarfodydd gosod safonau o bell sy'n bresennol yw hwyluso'r un lefel o ymgysylltu a chyfathrebu â phrofiad mewn cyfarfodydd gosod safonau personol, effeithiol.

ASTUDIAETH ACHOS #2: Comisiwn Ardystio Dehonglwyr Gofal Iechyd (CCHI)

Mae arholiad Sbaeneg CCHI yn gofyn am ddulliau arbennig i fynd i'r afael â hynodion arholiad megis y gydran perfformiad dwyieithog (Sbaeneg-Saesneg), fformat recordio sain, a'r ffaith ei fod wedi'i raddio gan ddyn. Creodd yr amodau hyn heriau i CCHI yn y broses gosod safonau o bell, yn benodol o ran recriwtio a hyfforddi BBaChau.

Heriau Unigryw mewn Recriwtio a Hyfforddiant BBaChau:

• Mae pryderon diogelwch yn gofyn am bwyslais arbennig ar onestrwydd personol a phroffesiynol busnesau bach a chanolig
• Llythrennedd busnesau bach a chanolig mewn llwyfannau ar-lein a rhyngweithio â sain
• Angen cyflymder sylweddol o gysylltiad band eang
• Cyflwyno arholiad sain ar-lein i BBaChau (cyfluniad prawf ychwanegol; materion TG)
• Mae rhyngweithiadau grŵp wedi’u gwanhau rhywfaint (o gymharu ag wyneb yn wyneb) gan nad oes mynediad i BBaChau eraill y tu allan i gyfarfodydd a drefnwyd

Mae dull o bell wrth osod safonau yn arbennig o fuddiol i recriwtio a hyfforddi BBaChau ar gyfer y math hwn o raglen arholiadau. Mae mwy o gyfle ar gyfer cynrychiolaeth amrywiol o BBaChau yn ôl eu hamrywiad Sbaeneg a chynrychiolaeth amrywiol o BBaChau yn ôl y lleoliadau gofal iechyd y maent yn dehongli ynddynt. Mae fformat 3 chyfarfod a gwaith annibynnol anghydamserol yn caniatáu i BBaChau dreulio gwybodaeth yn well a bod yn fwy ystyriol yn eu gwerthusiadau ac argymhellion, ac felly gwell barn BBaCh annibynnol.

Mae arholiadau ac arholiadau dwyieithog sy'n gofyn am fformat tebyg yn gofyn am broses ansafonol ar gyfer dulliau o bell ac yn bersonol. Yn y modd anghysbell, mae angen cyfarfod cyfeiriadedd i osod disgwyliadau clir a mynd i'r afael ag agweddau proses a thechnoleg y prosiect. Mae'n debygol y bydd angen hyfforddiant ychwanegol am y broses graddio dynol, graddfeydd a chonfensiynau graddio. Yn yr achos hwn, y dull Angoff Addasedig Estynedig wedi'i ategu gan ddull Cyfaddawd Cymharol-Absoliwt Beuk oedd y dull mwyaf effeithiol o bennu sgoriau torri.

ASTUDIAETH ACHOS #3: Byrddau Cosmetoleg (NIC) Cyngor Cenedlaethol Interstate

Mae'r protocol gosod safonau o bell a ddefnyddir ar gyfer Arholiad Ymarferol yr NIC yn enghraifft o brosesau a heriau penodol gosod safon lled-bell ar gyfer arholiadau ymarferol. Mae Arholiad Ymarferol NIC yn arholiad perfformiad personol a ddefnyddir ar gyfer Cosmetoleg a meysydd cysylltiedig. Fe'i defnyddir mewn taleithiau lluosog ar draws yr Unol Daleithiau, ac fe'i gweinyddir fel arfer mewn swyddfeydd bwrdd neu ystafelloedd cynadledda / neuaddau gwesty. Mae'r arholiad yn cynnwys adrannau aml-amser, ac ymgeiswyr sy'n gyfrifol am ddod â'u cyflenwadau eu hunain. Mae angen proctor a graddwyr, ac mae rhediad ffug-ymgeisydd wedi'i gynnwys yn y broses gosod safonau.

Newidiodd y broses gosod safonau ar gyfer yr arholiadau hyn i fodel personol/o bell hybrid oherwydd y pandemig ac roedd nifer o heriau newydd yn cyd-fynd â hi. Cyn y pandemig, roedd yr holl weithgareddau datblygu profion wedi'u perfformio'n bersonol a gosod safonau ymarferol oedd yr unig weithgaredd datblygu prawf y penderfynodd NIC ei fod yn gofyn am bresenoldeb personol ar gyfer y rhediad trwodd ffug-ymgeisydd. Roedd rhywfaint o gwestiwn ynghylch a fyddai cynnal y rhediad arholiad drwodd dros weminar mewn amser real neu rediad drwodd wedi'i recordio ymlaen llaw yr un mor effeithiol ag y byddai'r BBaChau yn ei weld yn bersonol. Yn y pen draw, dewisodd NIC ddod o hyd i leoliad newydd i BBaChau gyfarfod a chael hwylusydd i ymuno ag ef trwy weminar.

Roedd y broses gosod safon hybrid o bell/yn bersonol yn cynnwys hyfforddiant rhagarweiniol i BBaChau, yn ogystal ag adolygiad o'r safonau critigol a'r ymgeisydd targed. Gosodwyd ystafell i ddynwared gosodiad arholiad a neilltuwyd rolau (fel proctor, arholwyr, a cheidwad amser) ar gyfer y rhagarweiniad ffug-ymgeisydd. Perfformiwyd y rhediad ffug-ymgeisydd a'i arsylwi, ei raddio, ac yna ei drafod gan BBaChau. Dilynodd sesiwn cwestiwn ac ateb gyda'r ffug-ymgeisydd. Darparwyd graddfeydd Angoff gan BBaChau a'r ffug-ymgeisydd cyn gorffen gyda thrafodaeth grŵp ac addasiadau, ac yna sefydlwyd sgôr toriad terfynol. Hyd yn oed gyda'r addasiad rhithwir o'r gweithgareddau datblygu prawf gofynnol, roedd sawl her i'r broses gosod safonol o bell.

Heriau i Osod Safonau o Bell

• Mynediad cyfyngedig i gyfleusterau ymlaen llaw
• Gall technoleg a/neu offer Clyweledol fod yn anghyfarwydd
• Mae argraffu deunyddiau wedi'u diweddaru yn cymryd mwy o amser ac o bosibl yn gostus
• Mae gallu'r hwylusydd i ddarparu mewnbwn gwybodus yn gyfyngedig
• Rhwystrau i ymgysylltu â busnesau bach a chanolig
• Dosbarthu a rheoli dogfennau yn ddiogel
• Mae rhai busnesau bach a chanolig yn llai tebygol o fynychu'n bersonol ar yr adeg hon
• Cynrychiolydd y Cleient sydd â chyfrifoldebau ychwanegol

Roedd mabwysiadu gosodiadau safonol o bell hefyd wedi cyfrannu nifer o fanteision i'r rhaglen arholiadau, gan gynnwys peidio â chael unrhyw newid cyffredinol i'r prosesau gosod safonau ymarferol. Mae cynnal y rhediad ffug-ymgeisydd mewn ystafell gynadledda mewn gwesty yn dynwared amgylchedd profi go iawn yn well, ac roedd technoleg sain/gweledol yn well na'r lleoliad cyfarfod arferol. Roedd y cyrhaeddiad ehangach ar gyfer recriwtio yn golygu bod BBaChau newydd â demograffeg amrywiol a oedd yn gallu rhoi adborth mwy manwl gywir a disgrifiadol yn ystod y drafodaeth. Hefyd, oherwydd cyfyngiadau ar gyfleusterau, rheolwyd amseriad yn effeithlon. Yn y pen draw, roedd gosod safon o bell yn ffordd effeithlon a chyfleus o gadw'r rhaglen ar y trywydd iawn.

Gall gosodiad safonol rhithwir fod yn arf arbed rhaglenni pan gaiff ei weithredu'n iawn, gan ystyried yn ofalus y gwahaniaethau rhwng prosesau personol a rhithwir.

Ystyriaethau Allweddol yn y Broses Gosod Safonau Anghysbell :

• Recriwtio BBaChau: Sgrinio’r BBaChau yn drylwyr i sicrhau y gallwch ymddiried ynddynt i gael mynediad at gynnwys prawf o’ch cartref, a recriwtio mwy o BBaChau nag sydd angen rhag ofn at athreuliad munud olaf.
• Cyfathrebu a rheolaeth ymgysylltu â busnesau bach a chanolig cyn y digwyddiad: Amlinellwch yn glir lefel yr ymrwymiad fel nad yw BBaChau yn synnu faint o amser ac ymdrech sydd ynghlwm wrth Gosod Safonau.
• Ymgysylltu â busnesau bach a chanolig yn ystod y digwyddiad: Ystyriwch sut y gallwch chi wneud y mwyaf o gyfranogiad ar bob cam o'r broses, megis mynnu neu annog defnydd camera yn gryf i adlewyrchu ymgysylltiad personol.
• Technoleg: Amlinellwch y gofynion yn glir o flaen llaw, ac ystyriwch gyfarfod “cyn-gêm technoleg” i sicrhau cyfranogiad llawn pawb. Sicrhewch fod y defnydd o dechnoleg a yrrir gan hwylusydd a'r trawsnewidiadau yn ddi-dor fel nad oes unrhyw amser yn cael ei wastraffu.
• Diogelwch: Ystyriwch fod lefel uwch o risg yn gynhenid mewn Gosod Safonau o bell. Sicrhau bod busnesau bach a chanolig yn llofnodi NDAs ac yn deall eu cyfrifoldeb, a’u sgrinio’n drylwyr yn ystod y broses recriwtio.
• Atebion creadigol ar gyfer sefyllfaoedd/arholiadau unigryw: Mae pob arholiad yn unigryw, ond mae'n bosibl addasu'r modd gosod safon rhithwir i bob sefyllfa - hyd yn oed os oes angen model hybrid ar gyfer arholiad ymarferol!

Ac yn y pen draw, yr ystyriaeth bwysicaf:

Dilysrwydd: A fyddwch chi'n cael yr un lefel o ddilysrwydd proses gosod safonol mewn model rhithwir? A fyddwch chi'n cael yr un cynnyrch (hy yr un sgôr torri) ag y byddech chi'n ei gael pe baech chi'n cynnal y gosodiad safonol yn bersonol?