Ovaj dokument opisuje opće smjernice pomoću kojih Prometric interni psihometričari ocjenjuju i označavaju interne predmete za dodatni pregled. Ove se smjernice odnose na one programe koji koriste klasičnu teoriju ispitivanja.
|
Elementi sastavljanja obrasca i statističkog pregleda |
Specifikacije / Standardi |
|---|---|
|
1. Raspon teškoća s predmetima |
P-vrijednosti = .30 - .89 (optimalno) * |
|
2. Ciljna vrijednost (indeksi) indeksa diskriminacije za stavke |
rpBis> .20 |
|
3. Ciljni rasponi za procjene pouzdanosti unutarnje dosljednosti |
Alfa> .80 |
| 4. Ciljni rasponi za procjene dosljednosti ili pouzdanosti klasifikacije | Livingston> .80 |
|
Prihvatljivi rasponi su veći od optimalnih i navedeni su u nastavku |
Namjereni raspon teškoća s predmetima
| P-vrijednost = 0,30 do 0,89 |
|---|
Prometričko osoblje obučeno je da prepoznaje da pojedinačne p-vrijednosti ne predstavljaju apsolutnu, ponovljivu vrijednost niti zahtijevaju konkretno tumačenje. Umjesto toga, prometrički psihometričari pregledavaju sve dostupne podatke o analizi predmeta kako bi procijenili trendove. Napomena: samo p-vrijednosti nisu dovoljne za većinu interpretacija predmeta. Sve osnovne stavke pregleda sadrže p-vrijednosti i rpBis prije donošenja odluka o raspoređivanju predmeta.
| p-vrijednost (lako do teško) | Tumačenje predmeta |
|---|---|
|
1,00 do 0,96 |
Neprihvatljivi predmeti s minimalnom mjernom vrijednošću koji moraju biti označeni kako bi ih mala i srednja poduzeća uklonila ili pregledala. |
|
0,90 do 0,95 |
Vrlo jednostavne (možda neprihvatljive) stavke: pregledajte rpBislov za adekvatnu diskriminaciju. Možda treba pregledati moja mala i srednja poduzeća. |
|
0,89 do 0,80 |
Prilično jednostavni (prihvatljivi) predmeti: pregledajte rpBis da biste potvrdili diskriminaciju. |
|
0,79 do 0,40 |
Teški do umjereno lagani (prihvatljivi) predmeti: koristite ako je rpB unutar specifikacija. |
| 0,39 do 0,30 | Teške (prihvatljive) stavke: pažljivo pregledajte rp, koristite ako se rpBis nalazi unutar specifikacija. |
| 0,29 do 0,20 | Vrlo teški (možda neprihvatljivi) predmeti: pregledajte rpBispravnost za adekvatnu diskriminaciju. Možda ih treba pregledati MSP. |
| 0,19 do 0,00 | Neprihvatljivi predmeti: neprimjereno teški ili na drugi način pogrešni. MSP moraju biti označene za uklanjanje ili reviziju. |
Kada se ustanovi da je stavka marginalna, programeri pregledavaju rpBis. Ako je rpBis visok, daje se više tolerancije za zadržavanje tog predmeta na ispitu.
Ciljna vrijednost (e) za indekse diskriminacije predmeta
| rpBis = 0,20 do 1,00 |
|---|
Točku Biserial (rpBis) koriste prometrički psihometričari za utvrđivanje moći diskriminacije svakog predmeta. Kao i druga klasična statistika, i uporaba rpBis-a nije egzaktna znanost. U nekim slučajevima, niske vrijednosti rpBis mogu biti rezultat posebno visokih ili niskih p-vrijednosti, male varijance stavke zbog neupadljivih distraktora, niske varijancije bodovanja zbog homogenosti kandidata ili izrazito iskrivljene bodove distribucije. Zbog toga se od prometričkih psihometričara uzima u obzir nekoliko statističkih podataka dok pregledavaju analize predmeta. Tablica 3 sažima smjernice koje razvojni programeri koriste prilikom pregleda diskriminacije na stavkama. Imajte na umu da ove smjernice pretpostavljaju da je stavka ispravno unesena, a uzorak kandidata dovoljno velik.
|
RpBis (jak do slab) |
Tumačenje predmeta |
|---|---|
|
1,00 do 0,50 |
Vrlo jak (prihvatljiv) |
|
0,49 do 0,30 |
Snažno (prihvatljivo) |
|
0,29 do 0,20 |
Prihvatljivo (ali možda treba pregledati) |
|
0,19 do 0,10 |
Marginalne (možda neprihvatljive) stavke: pažljivo pregledajte tekst i distractors. |
| 0,09 do 0,00 | Slabi (neprihvatljivi) predmeti: p-vrijednosti su vjerojatno vrlo visoke. Oznaka za uklanjanje ili reviziju od strane MSP-a. |
| -0,01 do –0,20 |
Neprihvatljivi predmeti: neprimjereno teški ili na drugi način pogrešni. MSP moraju biti označene za uklanjanje ili reviziju. |
Tablica 4 prikazuje interpretacije koje je psihometrijski tim koristio za različite domete alfa koeficijenata.
|
Alfa |
Tumačenje pouzdanosti unutarnje dosljednosti |
|---|---|
|
Manje od 0,60 |
Neprihvatljivi koeficijenti koji zahtijevaju nove oblike |
|
0,60 do 0,69 |
Loši koeficijenti koji zahtijevaju reviziju ili uklanjanje obrasca |
|
0,70 do 0,79 |
Granični koeficijenti koji mogu zahtijevati preispitivanje / reviziju obrasca |
|
0,80 do 0,89 |
Dobri koeficijenti |
|
0,90 ili više |
Izvrsni koeficijenti |
Ciljni raspon za procjene dosljednosti klasifikacije ili pouzdanosti odluke o donošenju / neuspjehu
|
r = 0,80 ili viši |
|---|
Prometric je odabrao metodu gubitka u kvadratu Livingstona za pouzdanost računanja dosljednosti odluka. Ova metoda je odabrana, jer se može protumačiti kao i druge mjere pouzdanosti (gore razmotrene). Daleko je manje složen od metoda praga gubitka i može se pokrenuti za sve oblike s jednom primjenom. Upotreba ove statistike u skladu je sa standardom 2.3 u Standardima za obrazovno i psihološko ispitivanje, str. 20.
Prometričke preporuke - Stavka namira za banke
Interni standardi Prometrića i preporuke klijenata za banke sa stavkama navedeni su u tablici 1 u nastavku.
|
Razina preporuke |
opseg |
|---|---|
|
1. Minimalni ciljni raspon |
1,5 do 2 puta broj predmeta po obrascu |
|
2. Prihvatljiv ciljni raspon |
2 do 3 puta broj predmeta po obrascu |
|
3. Optimalni ciljni raspon |
3 do 5 puta broj predmeta po obrascu |
Povratak na stranicu o učinkovitosti ispitivanja i pravnoj sposobnosti