Az előzetes tesztelés okai

Minden tesztelési programnak ki kell dolgoznia az új tartalmak vizsgálatokba történő beépítésének folyamatait. Az elemek előzetes tesztelése, mielőtt azokat élő vizsgaként pontozott elemekként használnák, két fő okból készül:

1. Tételek statisztikai értékelése: A tételek előzetes tesztelése lehetővé teszi statisztikák gyűjtését az egyes új tételek jelöltteljesítményére vonatkozóan. Függetlenül attól, hogy a tesztfejlesztési folyamat mennyire megalapozott, a minőségi termékek váratlanul teljesíthetnek a jelölt populáción belül. Az elővizsgálati statisztikák értékelése lehetővé teszi annak megerősítését, hogy az újonnan kifejlesztett tételek elfogadható statisztikai paramétereken belül teljesítenek, mielőtt a tétel befolyásolja a jelölt vizsgapontját.
2. Statisztikai adatok gyűjtése az egyenlőségért: Annak biztosítása érdekében, hogy minden jelölt megkapja a méltányos nehézségi vizsgát, a vizsgálati formák előzetes egyenértékének kiegyenlítése a kívánt tesztfejlesztési módszer. A vizsgáknak a teljes bankból egy meghatározott nehézségi szintre történő adminisztrációja megköveteli, hogy a vizsgabankban használt élő elemek statisztikájához kapcsolódjanak. A folyamatos, szabványosított előtesztelési folyamat folyamatosan táplálja az elembankot, és biztosítja az elő-egyenérték elvégzését.

A tételek kiértékelésének és az előzetes egyenlőségnek egyaránt célja egy érvényes tesztelési folyamat létrehozása, amely minden jelentkező számára tisztességes. Ezeknek a folyamatoknak az átfogó fejlesztési tervben való kombinációja biztosítja, hogy a jelölteknek bemutatott minden élő elem jól teljesítsen, és hogy minden jelölt megkapja a méltányos nehézségi vizsgavizsgálatot. Ez megalapozza a védendő tesztelési programot.

Az alábbi információk az előzetes tesztelési folyamatot magában foglaló programok fő szempontjait tartalmazzák.

Szállítás módja

Különböző módszerek állnak rendelkezésre az előteszteléshez - a két fő módszer (1) külön pretest-képernyő és (2) egy meglévő formaba ágyazott pretesting.

Külön ellenőrző űrlapok

Egyes programok inkább teljesen elkülönítik az előzetes tesztelési folyamatot az élő vizsga adminisztrációtól. E cél elérése érdekében külön pretest vizsgákat kell létrehozni, amelyeket a jelölt populációnak be lehet adni. A teljes előzetes vizsgákat ugyanolyan arányban hozzák létre, mint az élő vizsga űrlapon. A külön pretest tesztet általában az önkéntes jelölteknek adják be a speciális pretesting adminisztráció során. Az önkéntes jelölteknek a lehető legszorosabban kell képviselniük az azonos típusú jelöltek körét, amely általában az élő vizsgát tartja.

Ennek a megközelítésnek az előnye, hogy az élő tesztelési tapasztalatokat semmilyen módon nem befolyásolja. Az elővizsgálati üléseken részt vevő jelöltek ezt önként és a folyamat teljes tudatában teszik. Ennek a megközelítésnek a hátrányai közé tartozik (1) az adatgyűjtés meghosszabbított időkerete és (2) a jelöltkészlet és az azt követő előzetes adatok potenciális eltorzulása. Ha az előzetes tesztelési folyamat önkéntesekre támaszkodik, általában hosszabb időre van szükség ahhoz, hogy elegendő mennyiségű jelölt mintát gyűjtsenek az előzetes adatok elemzéséhez. Ezenkívül egy olyan folyamat, amely az önkéntes jelöltekre támaszkodik, lényegében megváltoztatja a jelöltkészlet összetételét. Mivel általában az előzetes vizsga elvégzésére önként jelentkeznek a motivált, nagy teljesítményű jelöltek, a jelöltkészlet már nem képviseli az élő vizsgát teljesítő egyének teljes körét. A jelöltkészletnek ez a lehetséges változása túlnyomórészt nagy teljesítményűekkel torzíthatja a kapott előzetes adatokat.

A meglévő űrlapba beágyazott legfontosabb tételek

A második elővizsgálati módszertan az előzetes vizsgálatok kis részének beépítését foglalja magában a meglévő vizsgálati űrlapokba. Ez a módszertan lehetővé teszi a tételek fokozatos előzetes tesztelését a rendszeres vizsgakezelések során. Ennek a megközelítésnek az az előnye, hogy az elővizsgálat tárgyát képező jelöltek ugyanazok a jelöltek, akik élő vizsgát tesznek - ez nagymértékben kiküszöböli a jelöltkészlet szennyeződésének lehetőségét. Mivel ez a folyamat nem foglalja magában az önkéntesek alkalmazását, lehetővé teszi az előzetes adatok gyűjtését a leghatékonyabb módon, csökkentve az adatgyűjtés késéseit az önkéntesek hosszú felvételi ideje miatt.

Ennek a megközelítésnek a hátrányai a vizsgálatra szánt tételek számának kiterjesztése. A vizsgaelemek számának növekedése fokozhatja a jelöltek szorongását és fáradtságát a vizsgakérdések megválaszolásában. Másodszor: kevesebb előzetes elem kerül tesztelésre a meglévő formákban, mint egy különálló előteszt formában. Ezért létre kell hozni egy protokollt az előtesztelt elemek ésszerű időn belüli elforgatására.

A jelölt közzététele

A legtöbb tesztfejlesztési szakember azt javasolja, hogy az előzetes tesztelési folyamatot tegyék közzé a jelentkezőknek a vizsga adminisztrációja előtt. Vannak lehetőségek annak meghatározására is, hogy mennyi információt közölnek a jelölt lakossággal.

1. Az előzetes vizsga tárgyainak száma: A vizsgázóknak általában a vizsga előtt meg kell mondani, hogy hány előzetes elem jelenik meg a vizsgán. A jelölteket arról is tájékoztatták, hogy a pretest tárgyai nem befolyásolják teljes pontszámukat.
2. A pontos előzetes elem ismerete: A jelölteknek általában nem mondják meg pontosan, hogy mely elemek a leginkább előzetes tételek. Ennek célja annak biztosítása, hogy a jelöltek az előzetesen megválaszolt kérdésekre ugyanúgy válaszoljanak, mint az élő vizsgaelemekre (méltányos szándékkal, hogy a kérdésre helyesen válaszoljon).

A bemutatás módja

Ha az előtesztett elemek beágyazódnak egy meglévő űrlapba, az előzetes tételek bemutatásának különféle módjai vannak. Az alábbiakban három módszertant írunk le.

1. A vizsga kezdete: Az összes előzetes elem bemutatható egy részben a vizsga elején.
2. A vizsga vége: Az összes előzetes elem bemutatható a vizsga végén található szakaszban.
3. A vizsga során elosztva: A tételeket a vizsga megfelelő tartalmi szakaszaiban lehet elosztani.

Annak biztosítása érdekében, hogy a jelöltek az előzetesen megválaszolt kérdésekre olyan módon válaszoljanak, mintha a vizsgán élő tárgyak lennének, a Prometric azt ajánlja, hogy az előzetes vizsgálati tételeket terjesszék a vizsgalapon. Ez segít abban, hogy a jelöltek ne gondolják ki az előzetes szakaszot, és így módosíthatják teljesítményüket ezen elemeknél.

A meglévő formában előzetesen megvizsgált elemek százaléka

Általában ajánlott, hogy az előteszelt tételek ne haladják meg a vizsga teljes elemének 10% -át (pl. A 40 elemű vizsga nem tartalmazhat négynél több előtesztet). Az előzetesen ellenőrzött cikkek számának korlátozása csökkenti a jelölt fáradtságának eshetőségét, és tipikusan kiküszöböli a tesztelési idő meghosszabbításának szükségességét.

Az elemzést megelőző jelölt expozíciók száma

A klasszikus teszt elmélethez a Prometric legalább 100 jelölt expozíciót javasol egy előtesztenként, a statisztikai életképesség értékeléséhez. A további jelölt expozíciók (a minimum 100 felett) növelik a jelölt adatok stabilitását és növelik az előzetes eredmények általánosíthatóságát.

Optimális paraméterek az élő teszt előtti átmenethez

A következő szakasz ismerteti azokat az általános útmutatásokat, amelyek alapján a Prometric belső pszichometrikusok értékelik az előzetes vizsgálatokat. Bár az egyes programok eltérhetnek, ezek az iránymutatások hasznosak az átfogó értékelés szempontjából. Felhívjuk figyelmét, hogy ezek az irányelvek csak azokra a programokra vonatkoznak, amelyek klasszikus tesztelméletet használnak.

1. táblázat: A statisztikai előírások összefoglalása

Az elfogadható tartományok meghaladják az optimális tartományokat, és az alábbiakban ismertetjük azokat

Tervezett cikkek nehézségei

P-érték = 0,30 - 0,89

A prometrikus munkatársakat felkészítik annak felismerésére, hogy az egyes p-értékek nem jelentenek abszolút, megismételhető értéket, és nem indokolják a konkrét értelmezést. A prometrikus pszichometrikusok inkább áttekintik a rendelkezésre álló elem elemzési információkat a trendek értékeléséhez. Megjegyzés: önmagában a p-értékek nem elegendőek a legtöbb elem értelmezéséhez. Az összes alapvető cikk-áttekintés magában foglalja a p-értékeket és az rpBis-t, mielőtt az elemek elrendezési döntéseit meghozza.

2. táblázat: p-érték iránymutatások

Ha egy elem marginálisnak bizonyul, a fejlesztõk megvizsgálják az elem rpBis-jét. Ha az rpBis magas, akkor nagyobb toleranciát kell adni arra, hogy ezt az elemet a vizsgán tartsák.

Célérték (ek) az elem diszkriminációs mutatókhoz

rpBis = 0,20 - 1,00

3. táblázat: rpBis iránymutatások

Az elemszintű statisztika kiértékelése után döntést hoznak az egyes tételekről. A tételek (1) a jelenlegi formában elfogadhatók és az élő vizsgakészletbe helyezhetők, (2) módosításokkal elfogadhatók és újra bekerülhetnek az előzetes tesztkészletbe, vagy (3) visszautasíthatók a további felhasználásból.

Vissza a teszt hatékonysága és a jogi védekezés oldalához