Este documento describe las pautas generales por las cuales los psicometristas internos de Prometric evalúan y marcan los elementos internos para una revisión adicional. Estas pautas se aplican a aquellos programas que utilizan la teoría de prueba clásica.
|
Elementos de la Asamblea de Formulario y Revisión Estadística |
Especificaciones / Estándares |
|---|---|
|
1. Gama de dificultades del artículo |
Valores p = .30 - .89 (óptimo) * |
|
2. Valor (es) objetivo (s) para los índices de discriminación de artículos |
rpBis> .20 |
|
3. Rangos objetivo para estimados de confiabilidad de consistencia interna |
Alfa> .80 |
| 4. Rangos objetivo para estimaciones de consistencia o confiabilidad de clasificación | Livingston> .80 |
|
Los rangos aceptables son mayores que los rangos óptimos y se explican a continuación. |
Rango previsto de dificultades del artículo
| Valor P = 0.30 a 0.89 |
|---|
El personal de Prometric está capacitado para reconocer que los valores p individuales no representan un valor absoluto y repetible ni garantizan una interpretación concreta. Por el contrario, los psicometristas de Prometric revisan toda la información de análisis de ítems disponible para evaluar las tendencias. Nota: los valores p por sí solos son insuficientes para la mayoría de las interpretaciones de elementos. Todas las revisiones básicas de artículos incorporan valores p y rpBis antes de tomar decisiones de disposición de artículos.
| valor p (fácil a difícil) | Interpretación de ítems |
|---|---|
|
1.00 a 0.96 |
Elementos inaceptables con un valor de medición mínimo que deben marcarse para su eliminación o revisión por parte de las PYME. |
|
0,90 a 0,95 |
Elementos muy fáciles (posiblemente inaceptables): revise rpBis para una discriminación adecuada. Puede que necesite revisar mis pymes. |
|
0,89 a 0,80 |
Artículos bastante fáciles (aceptables): revise rpBis para confirmar la discriminación. |
|
0,79 a 0,40 |
Artículos difíciles de moderadamente fáciles (aceptables): use si los rpBis están dentro de las especificaciones. |
| 0,39 a 0,30 | Elementos difíciles (aceptables): revise los rpBis detenidamente, úselos si los rpBis están dentro de las especificaciones. |
| 0.29 a 0.20 | Elementos muy difíciles (posiblemente inaceptables): revise rpBis para una discriminación adecuada. Puede necesitar revisión por parte de las PYME. |
| 0.19 a 0.00 | Artículos inaceptables: Inapropiadamente difíciles o defectuosos. Debe estar marcado para su eliminación o revisión por las PYME. |
Cuando se descubre que un elemento es marginal, los desarrolladores miran los rpBis del elemento. Si el rpBis es alto, se otorga más tolerancia para mantener ese elemento en el examen.
Valor (es) objetivo (s) para índices de discriminación de artículos
| rpBis = 0,20 a 1,00 |
|---|
El punto Biserial (rpBis) es utilizado por los psicometristas de Prometric para determinar el poder de discriminación de cada elemento. Al igual que otras estadísticas clásicas, el uso de rpBis no es una ciencia exacta. En algunos casos, los valores bajos de rpBis pueden ser el resultado de valores p particularmente altos o bajos, baja variación de elementos debido a distractores no plausibles, baja variación de puntuación debido a la homogeneidad de los candidatos o distribuciones de puntuación extremadamente sesgadas. Por lo tanto, los psicometristas de Prometric deben tener en cuenta varias estadísticas a medida que revisan los análisis de los ítems. La Tabla 3 resume las pautas que usan los desarrolladores al revisar la discriminación de elementos. Tenga en cuenta que estas pautas suponen que el elemento está codificado correctamente y que la muestra de candidatos es suficientemente grande.
|
RpBis (fuerte a débil) |
Interpretación de ítems |
|---|---|
|
1.00 a 0.50 |
Muy fuerte (aceptable) |
|
0,49 a 0,30 |
Fuerte (aceptable) |
|
0.29 a 0.20 |
Aceptable (pero puede necesitar revisión) |
|
0.19 a 0.10 |
Artículos marginales (posiblemente inaceptables): revise el texto y los distractores de cerca. |
| 0.09 a 0.00 | Elementos débiles (inaceptables): los valores p son probablemente muy altos. Indicador para eliminación o revisión por parte de las PYME. |
| -0.01 a –0.20 |
Artículos inaceptables: inapropiadamente difíciles o defectuosos. Debe estar marcado para su eliminación o revisión por las PYME. |
La Tabla 4 enumera las interpretaciones utilizadas por el equipo psicométrico para varios rangos de coeficientes alfa.
|
Alfa |
Interpretación de confiabilidad de consistencia interna |
|---|---|
|
Menos de 0,60 |
Coeficientes inaceptables que requieren nuevas formas |
|
0,60 a 0,69 |
Coeficientes pobres que requieren revisión o eliminación de formularios |
|
0,70 a 0,79 |
Coeficientes marginales que pueden requerir revisión / revisión del formulario |
|
0.80 a 0.89 |
Buenos coeficientes |
|
0,90 o superior |
Excelentes coeficientes |
El rango objetivo para los estimados de consistencia de clasificación o confiabilidad de la decisión de aprobar / reprobar
|
r = 0,80 o superior |
|---|
Prometric seleccionó el método de pérdida por error al cuadrado de Livingston para calcular la fiabilidad de la coherencia de las decisiones. Este método fue seleccionado porque puede interpretarse como otras medidas de confiabilidad (discutidas anteriormente). Es mucho menos complejo que los métodos de pérdida de umbral, y se puede ejecutar para todos los formularios de administración única. El uso de esta estadística es consistente con el Estándar 2.3 en los Estándares para Pruebas Educativas y Psicológicas, p. 20)
Recomendaciones Prometric - Índices de Banco de Ítems
Las normas internas de Prometric y las recomendaciones de los clientes para los bancos de artículos se detallan en la Tabla 1 a continuación.
|
Nivel de recomendación |
Distancia |
|---|---|
|
1. Rango objetivo mínimo |
1.5 a 2 veces el número de artículos por formulario |
|
2. Rango objetivo aceptable |
2 a 3 veces el número de artículos por formulario |
|
3. Rango objetivo óptimo |
3 a 5 veces el número de artículos por formulario |
Regresar a la página de Eficiencia de prueba y Defensibilidad legal