Rhesymau dros Ragbrofi

Rhaid i unrhyw raglen brofi ddatblygu prosesau ar gyfer ymgorffori cynnwys newydd yn eu harholiadau. Gwneir ailbrofi eitemau cyn eu defnyddio fel eitemau â sgôr arholiad byw am ddau reswm allweddol:

1. Gwerthusiad Ystadegol o Eitemau: Mae ailbrofi eitemau yn caniatáu casglu ystadegau ynghylch perfformiad ymgeiswyr ar bob eitem newydd. Waeth pa mor gadarn yw'r broses datblygu profion, mae'n bosibl i eitemau o safon berfformio'n annisgwyl o fewn y boblogaeth ymgeiswyr. Mae gwerthuso ystadegau pretest yn caniatáu cadarnhad bod eitemau sydd newydd eu datblygu yn perfformio o fewn paramedrau ystadegol derbyniol cyn i'r eitem effeithio ar sgôr arholiad ymgeisydd.
2. Casglu Ystadegau ar gyfer Hafaliad: Er mwyn sicrhau bod pob ymgeisydd yn derbyn arholiad o anhawster teg, mae cyn-gyfateb ffurflenni arholiad yn ddull datblygu prawf a ddymunir. Mae gweinyddu arholiadau o fanc cyffredinol i lefel anhawster benodol yn gofyn bod gan yr eitemau byw a ddefnyddir yn y banc arholiadau ystadegau sy'n gysylltiedig â hwy. Mae proses ragbrofi safonol, barhaus yn bwydo banc eitemau yn barhaus ac yn sicrhau y gellir perfformio cyn-hafal.

Mae gwerthuso eitemau a chyn-hafalu wedi'u cynllunio i greu proses brofi ddilys sy'n deg i bob ymgeisydd. Mae'r cyfuniad o'r prosesau hyn o fewn cynllun datblygu cyffredinol yn sicrhau bod pob eitem fyw a gyflwynir i ymgeiswyr yn perfformio'n dda a bod pob ymgeisydd yn derbyn arholiad o anhawster teg. Mae hyn yn creu'r sylfaen ar gyfer rhaglen brofi amddiffynadwy.

Mae'r wybodaeth ganlynol yn cwmpasu'r prif ystyriaethau ar gyfer unrhyw raglen sy'n ymgorffori proses ailbrofi.

Dull Cyflenwi

Mae gwahanol fethodolegau ar gael ar gyfer ailbrofi - y ddwy brif fethodoleg yw (1) ffurflenni pretest ar wahân a (2) pretesting wedi'u hymgorffori mewn ffurf sy'n bodoli eisoes.

Ffurflenni Pretest ar wahân

Mae'n well gan rai rhaglenni wahanu'r broses ailbrofi yn llwyr oddi wrth weinyddiaeth yr arholiad byw. Er mwyn cyflawni'r nod hwnnw, mae angen creu arholiadau pretest ar wahân y gellir eu gweinyddu i'r boblogaeth ymgeiswyr. Mae arholiadau pretest cyfan yn cael eu creu gyda'r un gyfran o eitemau sy'n bresennol ar y ffurflen arholiadau byw. Fel rheol, gweinyddir ffurflenni pretest ar wahân i ymgeiswyr gwirfoddol yn ystod gweinyddiaethau ailbrofi arbennig. Dylai ymgeiswyr gwirfoddol gynrychioli mor agos â phosibl yr un math o gronfa ymgeiswyr a fyddai fel rheol yn sefyll yr arholiad byw.

Manteision y dull hwn yw nad yw'r profiad profi byw yn cael ei effeithio mewn unrhyw ffordd. Mae ymgeiswyr sy'n cymryd rhan yn y sesiynau ailbrofi yn gwneud hynny'n wirfoddol a chydag ymwybyddiaeth lawn o'r broses. Mae'r anfanteision i'r dull hwn yn cynnwys (1) amserlen estynedig ar gyfer casglu data, a (2) sgiwio posibl o'r gronfa ymgeiswyr a'r data rhagarweiniol dilynol. Pan fydd proses ragbrofol yn dibynnu ar wirfoddolwyr, yn gyffredinol mae'n cymryd cyfnod hirach o amser i gasglu sampl digon mawr o ymgeiswyr i ganiatáu ar gyfer dadansoddi'r data gorau. Yn ogystal, mae proses sy'n dibynnu ar ymgeiswyr gwirfoddol yn ei hanfod yn newid cyfansoddiad y gronfa ymgeiswyr. Gan mai hwn yn nodweddiadol yw'r ymgeiswyr llawn cymhelliant, uchel eu cyflawniad a fydd yn gwirfoddoli i sefyll arholiad pretest, nid yw'r gronfa ymgeiswyr bellach yn gynrychioliadol o'r ystod lawn o unigolion sy'n sefyll arholiad byw. Gall y newid posibl hwn yn y gronfa ymgeiswyr gyda pherfformwyr uchel yn bennaf wyro'r data sy'n deillio o hynny.

Eitemau Pretest Wedi'u Mewnosod yn y Ffurflen Bresennol

Mae ail fethodoleg ailbrofi yn cynnwys cynnwys canran fach o eitemau pretest yn y ffurflenni arholiad presennol. Mae'r fethodoleg hon yn caniatáu ar gyfer ailbrofi eitemau yn raddol yn ystod gweinyddiaethau arholiadau rheolaidd. Un o fuddion y dull hwn yw bod yr ymgeiswyr sy'n ymateb i'r eitemau gorau yn yr un ymgeiswyr sy'n sefyll yr arholiad byw - sy'n dileu'r potensial i halogi'r gronfa ymgeiswyr yn sylweddol. Oherwydd nad yw'r broses hon yn cynnwys defnyddio gwirfoddolwyr, mae hefyd yn caniatáu ar gyfer casglu data rhagbrofol yn y modd mwyaf effeithlon, gan leihau oedi wrth gasglu data oherwydd amser recriwtio hir ar gyfer gwirfoddolwyr.

Mae'r anfanteision i'r dull hwn yn cynnwys ymestyn nifer yr eitemau ar yr arholiad. Gall cynyddu nifer yr eitemau ar arholiad gynyddu pryder a blinder ymgeiswyr wrth ateb y cwestiynau ar yr arholiad. Yn ail, mae nifer llai o eitemau pretest yn cael eu profi o fewn ffurflenni sy'n bodoli eisoes nag mewn ffurflenni pretest ar wahân. Felly, rhaid sefydlu protocol i gylchdroi eitemau pretest o fewn amserlen resymol.

Datgeliad Ymgeisydd

Byddai'r rhan fwyaf o weithwyr proffesiynol datblygu profion yn argymell y dylid datgelu'r broses ailbrofi i ymgeiswyr cyn gweinyddu arholiad. Fodd bynnag, mae yna opsiynau o ran faint o wybodaeth sy'n cael ei datgelu i'r boblogaeth ymgeiswyr.

1. Gwybodaeth am nifer yr eitemau gorau: Yn nodweddiadol, dywedir wrth ymgeiswyr cyn yr arholiad faint o eitemau sy'n cael eu harddangos ar yr arholiad. Hysbysir ymgeiswyr hefyd na fydd yr eitemau pretest yn effeithio ar eu sgôr gyffredinol.
2. Gwybodaeth am yr union eitemau pretest: Yn nodweddiadol ni ddywedir wrth ymgeiswyr yn union pa eitemau yw'r eitemau gorau. Gwneir hyn i sicrhau bod ymgeiswyr yn ateb yr eitemau gorau yn yr un modd ag y maent yn ateb yr eitemau arholiad byw (gydag awydd teg i ateb yr eitem yn gywir).

Dull Cyflwyno

Os yw eitemau pretest wedi'u hymgorffori mewn ffurf sy'n bodoli eisoes, mae yna nifer o ffyrdd o gyflwyno'r eitemau gorau. Disgrifir tair methodoleg isod.

1. Dechrau'r Arholiad: Gellir cyflwyno'r holl eitemau pretest mewn adran ar ddechrau'r arholiad.
2. Diwedd yr Arholiad: Gellir cyflwyno'r holl eitemau pretest mewn adran ar ddiwedd yr arholiad.
3. Dosbarthu Trwy gydol yr Arholiad: Gellir dosbarthu eitemau o fewn yr adrannau cynnwys priodol yn yr arholiad.

Er mwyn sicrhau bod ymgeiswyr yn ateb yr eitemau pretest fel y byddent yn eitem fyw ar yr arholiad, mae Prometric yn argymell y dylid dosbarthu'r eitemau pretest trwy'r ffurflen arholiad. Mae hyn yn helpu i sicrhau nad yw ymgeiswyr yn dyfalu'r adran orau ac felly'n addasu eu perfformiad ar yr eitemau hynny.

Canran yr Eitemau Pretest ar Ffurf Bresennol

Yn nodweddiadol, argymhellir na ddylai eitemau rhagbrofol ragori ar 10% o gyfanswm yr eitemau ar yr arholiad (ee, ni ddylai arholiad 40 eitem gynnwys mwy na 4 eitem ragbrofol). Mae cyfyngu ar nifer yr eitemau pretest yn lleihau'r posibilrwydd o flinder ymgeisydd ac yn nodweddiadol yn dileu'r angen i ymestyn yr amser profi.

Nifer y Datguddiadau Ymgeisydd Cyn Dadansoddiad

Ar gyfer theori prawf clasurol, mae Prometric yn argymell o leiaf 100 o ddatguddiadau ymgeisydd i bob eitem ragbrofol er mwyn gwerthuso hyfywedd ystadegol. Mae datguddiadau ymgeisydd ychwanegol (uwchlaw'r isafswm o 100) yn cynyddu sefydlogrwydd y data ymgeisydd ac yn cynyddu cyffredinolrwydd y canlyniadau gorau.

Paramedrau Gorau ar gyfer Trosglwyddo'r Eitem Pretest to Live

Mae'r adran ganlynol yn disgrifio'r canllawiau cyffredinol y mae seicometregwyr mewnol Prometrig yn gwerthuso eitemau rhagbrofol. Er y gall rhaglenni unigol fod yn wahanol, mae'r canllawiau hyn yn ddefnyddiol at ddibenion gwerthuso cyffredinol. Sylwch fod y canllawiau hyn yn berthnasol i'r rhaglenni hynny sy'n defnyddio theori prawf clasurol yn unig.

Tabl 1: Crynodeb o'r Manylebau Ystadegol

Mae'r ystodau derbyniol yn fwy na'r ystodau gorau posibl ac fe'u heglurir isod

Ystod Bwriedig o Anawsterau Eitem

P-gwerth = 0.30 i 0.89

Mae staff prometrig wedi'u hyfforddi i gydnabod nad yw gwerthoedd-p unigol yn cynrychioli gwerth absoliwt, ailadroddadwy nac yn gwarantu dehongliad pendant. Yn hytrach, mae seicometregwyr Prometrig yn adolygu'r holl wybodaeth dadansoddi eitemau sydd ar gael i werthuso tueddiadau. Sylwch: mae p-werthoedd yn unig yn annigonol ar gyfer y mwyafrif o ddehongliadau eitem. Mae pob adolygiad eitem sylfaenol yn ymgorffori gwerthoedd-p a rpBis cyn gwneud penderfyniadau gwaredu eitemau.

Tabl 2: Canllawiau gwerth-p

Pan ganfyddir bod eitem yn ymylol, bydd datblygwyr yn edrych ar rpBis yr eitem. Os yw'r rpBis yn uchel, rhoddir mwy o oddefgarwch i gadw'r eitem honno ar yr arholiad.

Gwerth (au) Targed ar gyfer Mynegeion Gwahaniaethu Eitem

rpBis = 0.20 i 1.00

Tabl 3: Canllawiau rpBis

Ar ôl gwerthuso ystadegau lefel eitem, gwneir penderfyniadau ar bob eitem unigol. Gellir derbyn eitemau (1) fel y maent a'u rhoi yn y gronfa arholiadau byw, (2) eu derbyn gydag addasiadau a'u hail-gofnodi yn y gronfa ragbrofion, neu (3) eu gwrthod rhag cael eu defnyddio ymhellach.

Dychwelwch i Dudalen Effeithlonrwydd Prawf ac Amddiffynadwyedd Cyfreithiol