Dette dokument beskriver de generelle retningslinjer, hvorpå prometriske interne psykometrikere evaluerer og markerer interne emner til yderligere gennemgang. Disse retningslinjer gælder for de programmer, der bruger klassisk testteori.
|
Elementer af formsamling og statistisk gennemgang |
Specifikationer / Standarder |
|---|---|
|
1. Omfang af artikelvanskeligheder |
P-værdier = .30 - .89 (optimal) * |
|
2. Målværdi (er) for indeksdiskrimineringsindeks |
rpBis> .20 |
|
3. Målområder for estimater af intern konsistenssikkerhed |
Alfa> .80 |
| 4. Målområder for estimater af klassificeringskonsistens eller pålidelighed | Livingston> .80 |
|
Acceptable intervaller er større end optimale intervaller og forklares nedenfor |
Påtænkt række af vanskeligheder med varerne
| P-værdi = 0,30 til 0,89 |
|---|
Prometrisk personale trænes i at erkende, at individuelle p-værdier hverken repræsenterer en absolut, gentagelig værdi eller berettiger en konkret fortolkning. Snarere gennemgår prometriske psykometrikere alle tilgængelige oplysninger om elementanalyse for at evaluere tendenser. Bemærk: p-værdier alene er utilstrækkelige til de fleste varetolkninger. Alle grundlæggende varevurderinger indeholder p-værdier og rpBis inden beslutninger om disposition af emner.
| p-værdi (let til hårdt) | Tolkning af emnet |
|---|---|
|
1,00 til 0,96 |
Uacceptable elementer med minimal måleværdi, der skal markeres for fjernelse eller revision af SMV'er. |
|
0,90 til 0,95 |
Meget lette (muligvis uacceptable) genstande: gennemgå rpBis for tilstrækkelig forskelsbehandling. Måske skal jeg gennemgå mine SMV'er. |
|
0,89 til 0,80 |
Temmelig let (acceptabelt) genstande: gennemgå rpBis for at bekræfte forskelsbehandling. |
|
0,79 til 0,40 |
Svære til moderat lette (acceptable) genstande: Brug hvis rpBis er inden for specifikationerne. |
| 0,39 til 0,30 | Vanskelige (acceptable) genstande: gennemgå rpBis nøje, brug hvis rpBis er inden for specifikationerne. |
| 0,29 til 0,20 | Meget vanskelige (muligvis uacceptable) genstande: gennemgå rpBis for tilstrækkelig forskelsbehandling. Det kan være nødvendigt at gennemgå SMV'er. |
| 0,19 til 0,00 | Uacceptable genstande: Uhensigtsmæssigt vanskelige eller på anden måde mangelfulde. Skal markeres for fjernelse eller revision af SMV'er. |
Når det konstateres, at en vare er marginal, ser udviklere på elementets rpBis. Hvis rpBis er høj, gives der mere tolerance for at beholde denne artikel på eksamen.
Målværdi (er) for indeks diskrimineringsindeks
| rpBis = 0,20 til 1,00 |
|---|
Punktet Biserial (rpBis) bruges af prometriske psykometrikere til at bestemme diskriminationskraften for hvert emne. Som andre klassiske statistikker er brugen af rpBis ikke en nøjagtig videnskab. I nogle tilfælde kan lave rpBis-værdier være resultatet af særlig høje eller lave p-værdier, lav varians af varerne på grund af upålidelige distraktører, lav scoringsvarians på grund af kandidaternes homogenitet eller ekstremt skæve scoringsfordelinger. Derfor er det nødvendigt, at prometriske psykometrikere tager flere statistikker i betragtning, når de gennemgår vareanalyser. Tabel 3 opsummerer retningslinjerne, som udviklere bruger, når de gennemgår diskrimination af varer. Bemærk, at disse retningslinjer antager, at emnet er indtastet korrekt, og udvalget af kandidater er tilstrækkeligt stort.
|
RpBis (stærk til svag) |
Tolkning af emnet |
|---|---|
|
1,00 til 0,50 |
Meget stærk (acceptabel) |
|
0,49 til 0,30 |
Stærk (acceptabel) |
|
0,29 til 0,20 |
Acceptabel (men kan muligvis gennemgås) |
|
0,19 til 0,10 |
Marginaler (muligvis uacceptable): gennemgå tekst og distraherende nøje. |
| 0,09 til 0,00 | Svage (uacceptable) poster: p-værdier er sandsynligvis meget høje. Flag til fjernelse eller revision af SMV'er. |
| -0,01 til –0,20 |
Uacceptable genstande: uhensigtsmæssigt vanskelige eller på anden måde mangelfulde. Skal markeres for fjernelse eller revision af SMV'er. |
Tabel 4 viser fortolkningerne anvendt af det psykometriske team til forskellige alfa-koefficienter.
|
Alpha |
Fortolkning af intern konsistens-pålidelighed |
|---|---|
|
Mindre end 0,60 |
Uacceptable koefficienter, der kræver nye former |
|
0,60 til 0,69 |
Dårlige koefficienter, der kræver revision eller fjernelse af form |
|
0,70 til 0,79 |
Marginalkoefficienter, der kan kræve formgennemgang / revision |
|
0,80 til 0,89 |
Gode koefficienter |
|
0,90 eller derover |
Fremragende koefficienter |
Målområdet for beregninger af klassificeringens sammenhæng eller pålidelighed af godkendelses- / fiasko-beslutningen
|
r = 0,80 eller højere |
|---|
Prometric valgte Livingstons metode til tab af kvadratfejl til beregning af beslutningskonsistens-pålidelighed. Denne metode blev valgt, fordi den kan fortolkes som andre pålidelighedsmål (diskuteret ovenfor). Det er langt mindre kompliceret end metodetabsmetoder, og det kan køres for alle former for enkeltadministration. Brugen af denne statistik er i overensstemmelse med standard 2.3 i standarderne for uddannelsesmæssig og psykologisk testning, s. 20.
Prometriske henstillinger - Konto-bankforhold
Prometrics interne standarder og klientanbefalinger for varebanker er anført i tabel 1 nedenfor.
|
Anbefalingsniveau |
Rækkevidde |
|---|---|
|
1. Minimal målområde |
1,5 til 2 gange antal varer pr. Form |
|
2. Acceptabelt målområde |
2 til 3 gange antal varer pr. Form |
|
3. Optimalt målområde |
3 til 5 gange antal varer pr. Form |
Tilbage til siden Testeffektivitet og juridisk forsvarlighed