Ta dokument opisuje splošne smernice, s katerimi notranji psihometri Prometric ocenjujejo in označujejo notranje predmete za dodaten pregled. Te smernice veljajo za tiste programe, ki uporabljajo klasično preskusno teorijo.
|
Elementi sestavljanja obrazca in statističnega pregleda |
Specifikacije / standardi |
|---|---|
|
1. Obseg težav s postavkami |
P-vrednosti = .30 - .89 (optimalno) * |
|
2. Ciljna vrednost (-e) za indekse diskriminacije izdelkov |
rpBis> .20 |
|
3. Ciljna območja za ocene zanesljivosti notranje doslednosti |
Alfa> .80 |
| 4. Ciljna območja za ocene skladnosti ali zanesljivosti klasifikacije | Livingston> .80 |
|
Sprejemljivi razponi so večji od optimalnih in so razloženi spodaj |
Predvideni obseg težav s predmeti
| P-vrednost = 0,30 do 0,89 |
|---|
Prometrično osebje je usposobljeno, da prepozna, da posamezne vrednosti p ne predstavljajo absolutne, ponovljive vrednosti niti ne zahtevajo konkretne razlage. Prometrični psihometriki raje pregledajo vse razpoložljive podatke o analizi izdelkov, da ocenijo trende. Opomba: samo vrednosti p niso zadostne za večino razlag artiklov. Vsi osnovni pregledi postavk vključujejo p-vrednosti in rpBis pred odločitvijo o razporeditvi.
| p-vrednost (enostavno do trde) | Razlaga predmeta |
|---|---|
|
1,00 do 0,96 |
Nesprejemljivi predmeti z minimalno merilno vrednostjo, ki jih morajo označiti, da jih MSP odstranijo ali pregledajo. |
|
0,90 do 0,95 |
Zelo enostavni (morda nesprejemljivi) predmeti: preglejte rpBis glede ustrezne diskriminacije. Morda bo potreben pregled mojih malih in srednjih podjetij. |
|
0,89 do 0,80 |
Dokaj enostavni (sprejemljivi) predmeti: preglejte rpBis, da potrdite diskriminacijo. |
|
0,79 do 0,40 |
Težki do zmerno lahki (sprejemljivi) predmeti: uporabite, če je rpB v okviru specifikacij. |
| 0,39 do 0,30 | Težki (sprejemljivi) predmeti: natančno preglejte rpBis, natančno uporabite, če je rpB v okviru specifikacij. |
| 0,29 do 0,20 | Zelo težavni (morda nesprejemljivi) predmeti: preverite rpBis glede ustrezne diskriminacije. Lahko jih pregledajo MSP. |
| 0,19 do 0,00 | Nesprejemljivi predmeti: neprimerno težavni ali kako drugače napačni. MSP jih morajo označiti za odstranitev ali revizijo. |
Ko se ugotovi, da je izdelek nepomemben, razvijalci pogledajo rpBis. Če je rpBis visok, se dodeli več tolerance, da se ta predmet obdrži na izpitu.
Ciljna vrednost (e) za indekse diskriminacije postavk
| rpBis = 0,20 do 1,00 |
|---|
Točko Biserial (rpBis) uporabljajo Prometrični psihometri, da določijo moč diskriminacije vsakega predmeta. Tako kot druga klasična statistika tudi uporaba rpBisa ni natančna znanost. V nekaterih primerih so nizke vrednosti rpBis lahko posledica posebej visokih ali nizkih p-vrednosti, nizke variance postavke zaradi neupravičenih distraktorjev, nizke razlike v točkovanju zaradi homogenosti kandidatov ali izredno zamaknjenih točkovalnih porazdelitev. Zato morajo Prometrični psihometri pri pregledu analiz izdelkov upoštevati več statistik. Tabela 3 povzema smernice, ki jih razvijalci uporabljajo pri pregledu diskriminacije izdelkov. Upoštevajte, da te smernice predpostavljajo, da je postavka pravilno vstavljena in je vzorec kandidatov dovolj velik.
|
RpBis (močan do šibek) |
Razlaga predmeta |
|---|---|
|
1,00 do 0,50 |
Zelo močna (sprejemljivo) |
|
0,49 do 0,30 |
Močna (sprejemljivo) |
|
0,29 do 0,20 |
Sprejemljivo (vendar ga bo morda treba pregledati) |
|
0,19 do 0,10 |
Mejni elementi (morda nesprejemljivi): natančno preglejte besedilo in moteče. |
| 0,09 do 0,00 | Šibki (nesprejemljivi) predmeti: p-vrednosti so verjetno zelo visoke. Oznaka za odstranitev ali revizijo MSP. |
| Od 0,01 do –0,20 |
Nesprejemljivi predmeti: neprimerno težki ali drugače pomanjkljivi. MSP jih morajo označiti za odstranitev ali revizijo. |
V tabeli 4 so navedene interpretacije, ki jih uporablja psihometrični tim za različna območja alfa koeficientov.
|
Alfa |
Interpretacija zanesljivosti notranje konsistentnosti |
|---|---|
|
Manj kot 0,60 |
Nesprejemljivi koeficienti, ki zahtevajo nove obrazce |
|
0,60 do 0,69 |
Slabi koeficienti, ki zahtevajo pregled ali odstranitev obrazca |
|
0,70 do 0,79 |
Mejni koeficienti, ki lahko zahtevajo pregled / revizijo obrazca |
|
0,80 do 0,89 |
Dobri koeficienti |
|
0,90 ali višje |
Odlični koeficienti |
Ciljno območje za ocene skladnosti klasifikacije ali zanesljivosti odločitve o sprejemu / napaki
|
r = 0,80 ali več |
|---|
Prometric je izbral metodo izgube kvadratnih napak Livingstona za zanesljivost izračuna konsistentnosti odločitev. Ta metoda je bila izbrana, ker jo je mogoče razlagati kot druge ukrepe za zanesljivost (razpravljamo zgoraj). Je veliko manj zapleten kot metode izgube praga, zato ga je mogoče izvajati za vse oblike z eno uporabo. Uporaba te statistike je skladna s standardom 2.3 v Standardih za izobraževalno in psihološko testiranje, str. 20.
Prometrična priporočila - Koeficienti bank
Notranji standardi Prometric in priporočila strank za banke postavk so navedeni v spodnji tabeli.
|
Raven priporočila |
Domet |
|---|---|
|
1. Minimalni ciljni razpon |
1,5 do 2-kratno število postavk na obrazcu |
|
2. Sprejemljivo ciljno območje |
2 do 3-kratno število točk na obrazcu |
|
3. Optimalni ciljni razpon |
3 do 5-kratno število postavk na obrazcu |