Dit document beschrijft de algemene richtlijnen waarmee Prometric interne psychometriebedrijven interne items evalueren en markeren voor aanvullend onderzoek. Deze richtlijnen zijn van toepassing op die programma's die klassieke testtheorie gebruiken.
|
Elementen van formulierassemblage en statistisch overzicht |
Specificaties / Standards |
|---|---|
|
1. Bereik van itemproblemen |
P-waarden = .30 - .89 (optimaal) * |
|
2. Streefwaarde (n) voor item-discriminatie-indexen |
rpBis> .20 |
|
3. Doelbereiken voor schattingen van de betrouwbaarheid van de interne consistentie |
Alpha> .80 |
| 4. Streefbereiken voor schattingen van classificatieconsistentie of betrouwbaarheid | Livingston> .80 |
|
Acceptabele bereiken zijn groter dan optimale bereiken en worden hieronder uitgelegd |
Beoogd bereik van itemproblemen
| P-waarde = 0,30 tot 0,89 |
|---|
Prometric-personeel is getraind om te erkennen dat individuele p-waarden noch een absolute, herhaalbare waarde vertegenwoordigen, noch een concrete interpretatie rechtvaardigen. Integendeel, Prometrische psychometristen bekijken alle beschikbare informatie over itemanalyse om trends te evalueren. Opmerking: alleen p-waarden zijn onvoldoende voor de meeste artikelinterpretaties. Alle basisartikelrecensies bevatten p-waarden en rpBis voordat beslissingen over de plaatsing van items worden genomen.
| p-waarde (gemakkelijk tot moeilijk) | Artikelinterpretatie |
|---|---|
|
1,00 tot 0,96 |
Onacceptabele items met minimale meetwaarde die moeten worden gemarkeerd voor verwijdering of revisie door het MKB. |
|
0,90 tot 0,95 |
Zeer eenvoudige (mogelijk onacceptabele) items: bekijk rpBis op voldoende discriminatie. Misschien moet mijn MKB worden herzien. |
|
0,89 tot 0,80 |
Vrij eenvoudige (acceptabele) items: bekijk rpBis om discriminatie te bevestigen. |
|
0,79 tot 0,40 |
Moeilijk tot redelijk gemakkelijke (acceptabele) items: gebruik deze als rpBis binnen de specificaties valt. |
| 0,39 tot 0,30 | Moeilijke (acceptabele) items: bekijk rpBis aandachtig, gebruik als rpBis binnen specificaties is. |
| 0,29 tot 0,20 | Zeer moeilijke (mogelijk onacceptabele) items: bekijk rpBis op voldoende discriminatie. Moet mogelijk worden herzien door het MKB. |
| 0,19 tot 0,00 | Onacceptabele items: ongepast moeilijk of anderszins gebrekkig. Moet worden gemarkeerd voor verwijdering of herziening door het MKB. |
Wanneer een item marginaal blijkt te zijn, kijken ontwikkelaars naar de rpBis van het item. Als de rpBis hoog is, wordt meer tolerantie gegeven om dat item op het examen te houden.
Streefwaarde (n) voor itemdiscriminatie-indexen
| rpBis = 0,20 tot 1,00 |
|---|
Het punt Biserial (rpBis) wordt door Prometrische psychometrie gebruikt om de discriminatiekracht van elk item te bepalen. Net als andere klassieke statistieken is het gebruik van rpBis geen exacte wetenschap. In sommige gevallen kunnen lage rpBis-waarden het gevolg zijn van bijzonder hoge of lage p-waarden, lage itemvariantie als gevolg van ongeloofwaardige distractors, lage scorevariantie als gevolg van homogeniteit van kandidaten of extreem scheve scoreverdelingen. Daarom zijn Prometrische psychometrie verplicht om met verschillende statistieken rekening te houden bij het beoordelen van artikelanalyses. Tabel 3 geeft een overzicht van de richtlijnen die ontwikkelaars gebruiken bij het beoordelen van itemdiscriminatie. Merk op dat deze richtlijnen ervan uitgaan dat het item correct is ingetoetst en dat de steekproef van kandidaten voldoende groot is.
|
RpBis (sterk tot zwak) |
Artikelinterpretatie |
|---|---|
|
1,00 tot 0,50 |
Zeer sterk (acceptabel) |
|
0,49 tot 0,30 |
Sterk (acceptabel) |
|
0,29 tot 0,20 |
Acceptabel (maar moet mogelijk worden beoordeeld) |
|
0,19 tot 0,10 |
Marginale (mogelijk onacceptabele) items: bekijk tekst en afleiders aandachtig. |
| 0,09 tot 0,00 | Zwakke (onacceptabele) items: p-waarden zijn waarschijnlijk erg hoog. Vlag voor verwijdering of herziening door het MKB. |
| -0.01 tot –0.20 |
Onacceptabele items: ongepast moeilijk of anderszins gebrekkig. Moet worden gemarkeerd voor verwijdering of herziening door het MKB. |
Tabel 4 geeft een overzicht van de interpretaties die door het psychometrische team worden gebruikt voor verschillende bereiken van alfa-coëfficiënten.
|
Alpha |
Interne consistentie Betrouwbaarheid Interpretatie |
|---|---|
|
Minder dan 0,60 |
Onacceptabele coëfficiënten die nieuwe vormen vereisen |
|
0,60 tot 0,69 |
Slechte coëfficiënten die formulierrevisie of verwijdering vereisen |
|
0,70 tot 0,79 |
Marginale coëfficiënten waarvoor formulieren mogelijk moeten worden herzien / herzien |
|
0,80 tot 0,89 |
Goede coëfficiënten |
|
0.90 of hoger |
Uitstekende coëfficiënten |
Het doelbereik voor schattingen van classificatieconsistentie of betrouwbaarheid van de beslissing geslaagd / mislukt
|
r = 0,80 of hoger |
|---|
Prometric heeft Livingston's kwadratische foutverliesmethode gekozen voor de betrouwbaarheid van besluitvormingsconsistentie. Deze methode is gekozen omdat deze kan worden geïnterpreteerd als andere betrouwbaarheidsmaatregelen (hierboven besproken). Het is veel minder complex dan methoden voor drempelverlies en het kan worden uitgevoerd voor alle formulieren voor éénmalig gebruik. Het gebruik van deze statistiek is consistent met standaard 2.3 in de normen voor educatieve en psychologische tests, p. 20.
Prometrische aanbevelingen - bankratio's van posten
De interne normen en aanbevelingen van Prometric voor artikelbanken worden vermeld in onderstaande tabel 1.
|
Aanbevelingsniveau |
reeks |
|---|---|
|
1. Minimaal doelbereik |
1,5 tot 2 keer het aantal items per formulier |
|
2. Acceptabel doelbereik |
2 tot 3 keer het aantal items per formulier |
|
3. Optimaal doelbereik |
3 tot 5 keer het aantal items per formulier |
Keer terug naar de testefficiëntie en wettelijke verdedigbaarheidspagina