Razones para realizar pruebas preliminares

Cualquier programa de pruebas tiene que desarrollar procesos para incorporar nuevo contenido en sus exámenes. Los elementos de prueba previa antes de usarlos como elementos calificados en un examen en vivo se realizan por dos razones clave:

1. Evaluación estadística de los ítems: los ítems de prueba previa permiten la recopilación de estadísticas sobre el desempeño del candidato en cada nuevo ítem. Independientemente de cuán sólido sea el proceso de desarrollo de la prueba, es posible que los artículos de calidad se desempeñen inesperadamente dentro de la población candidata. La evaluación de las estadísticas previas a la prueba permite confirmar que los elementos recientemente desarrollados se están desempeñando dentro de los parámetros estadísticos aceptables antes de que el elemento afecte la calificación del examen de un candidato.
2. Recopilación de estadísticas para igualar: Para garantizar que cada candidato reciba un examen de dificultad equitativa, el método de desarrollo de prueba es la preequilibración de los formularios de examen. La administración de exámenes de un banco general a un nivel de dificultad específico requiere que los elementos activos utilizados dentro del banco de exámenes tengan estadísticas asociadas. Un proceso continuo y estandarizado de pruebas preliminares alimenta continuamente un banco de artículos y garantiza que se pueda realizar la comparación previa.

La evaluación de los ítems y el preequilibrio están diseñados para crear un proceso de prueba válido que sea justo para todos los candidatos. La combinación de estos procesos dentro de un plan de desarrollo general garantiza que cada elemento en vivo presentado a los candidatos tenga un buen desempeño y que cada candidato reciba un examen de dificultad equitativa. Esto crea la base para un programa de prueba defendible.

La siguiente información cubre las principales consideraciones para cualquier programa que incorpore un proceso de prueba previa.

Modo de entrega

Hay diferentes metodologías disponibles para las pruebas preliminares: las dos metodologías principales son (1) formularios de prueba previa separados y (2) pruebas preliminares integradas en un formulario existente.

Formularios de prueba previa separados

Algunos programas prefieren separar completamente el proceso de prueba previa de la administración del examen en vivo. Para lograr ese objetivo, es necesario crear exámenes pretest separados que se puedan administrar a la población candidata. Los exámenes previos completos se crean con la misma proporción de elementos que están presentes en el formulario de examen en vivo. Normalmente se administran formularios de prueba previa separados a los candidatos voluntarios durante las administraciones especiales de prueba previa. Los candidatos voluntarios deben representar lo más fielmente posible el mismo tipo de grupo de candidatos que típicamente tomaría el examen en vivo.

Los beneficios de este enfoque son que la experiencia de prueba en vivo no se ve afectada de ninguna manera. Los candidatos que participan en las sesiones de prueba previa lo hacen de forma voluntaria y con plena conciencia del proceso. Los inconvenientes de este enfoque incluyen (1) un marco de tiempo extendido para la recopilación de datos, y (2) un sesgo potencial del grupo de candidatos y los datos posteriores a la prueba previa. Cuando un proceso de prueba previa depende de voluntarios, generalmente toma más tiempo reunir una muestra lo suficientemente grande de candidatos para permitir el análisis de los datos de la prueba previa. Además, un proceso que se basa en candidatos voluntarios cambia inherentemente la composición del grupo de candidatos. Como generalmente son los candidatos motivados y de alto rendimiento que se ofrecerán como voluntarios para tomar un examen previo a la prueba, el grupo de candidatos ya no es representativo de la gama completa de personas que toman un examen en vivo. Esta alteración potencial del grupo de candidatos con un desempeño predominantemente alto puede sesgar los datos de la prueba previa resultante.

Elementos de prueba previa integrados en el formulario existente

Una segunda metodología de prueba previa implica la inclusión de un pequeño porcentaje de elementos de prueba previa dentro de los formularios de examen existentes. Esta metodología permite la prueba previa gradual de los elementos durante las administraciones de exámenes regulares. Un beneficio de este enfoque es que los candidatos que responden a los ítems de la prueba previa son los mismos candidatos que toman el examen en vivo, lo que elimina enormemente la posibilidad de contaminación del grupo de candidatos. Debido a que este proceso no implica el uso de voluntarios, también permite la recopilación de datos previos a la prueba de la manera más eficiente, reduciendo los retrasos en la recopilación de datos debido al largo tiempo de reclutamiento de voluntarios.

Los inconvenientes de este enfoque implican la extensión del número de elementos en el examen. Aumentar el número de elementos en un examen puede aumentar la ansiedad y la fatiga del candidato al responder las preguntas del examen. En segundo lugar, se prueba un número menor de elementos de prueba previa dentro de los formularios existentes que en formularios de prueba previa separados. Por lo tanto, se debe establecer un protocolo para rotar los elementos de prueba previa en un plazo razonable.

Divulgación del candidato

La mayoría de los profesionales de desarrollo de pruebas recomendarían que el proceso de prueba previa se divulgue a los candidatos antes de la administración de un examen. Sin embargo, hay opciones con respecto a cuánta información se divulga a la población candidata.

1. Conocimiento del número de elementos de prueba previa: por lo general, a los candidatos se les dice antes del examen cuántos elementos de prueba previa aparecerán en el examen. También se informa a los candidatos que los elementos de la prueba previa no afectarán su puntaje general.
2. Conocimiento de los elementos exactos de la prueba previa: por lo general, a los candidatos no se les dice exactamente qué elementos son los elementos de la prueba previa. Esto se hace para garantizar que los candidatos respondan los ítems de la prueba previa de la misma manera que responden los ítems del examen en vivo (con un deseo equitativo de contestar el ítem correctamente).

Método de presentación

Si los elementos de prueba previa están integrados en un formulario existente, existen varias formas de presentar los elementos de prueba previa. A continuación se describen tres metodologías.

1. Comienzo del examen: todos los elementos de la prueba previa se pueden presentar en una sección al comienzo del examen.
2. Fin del examen: todos los elementos de la prueba previa se pueden presentar en una sección al final del examen.
3. Distribuido a lo largo del examen: los elementos se pueden distribuir dentro de las secciones de contenido apropiadas dentro del examen.

Para garantizar que los candidatos respondan los ítems de la prueba previa como lo harían con un ítem en vivo en el examen, Prometric recomienda que los ítems de la prueba preliminar se distribuyan a lo largo del formulario del examen. Esto ayuda a garantizar que los candidatos no adivinen la sección de prueba previa y, por lo tanto, modifiquen su rendimiento en esos elementos.

Porcentaje de elementos de prueba previa en un formulario existente

Por lo general, se recomienda que los ítems de prueba previa no superen el 10% del total de ítems en el examen (por ejemplo, un examen de 40 ítems no debe contener más de 4 ítems de prueba previa). Limitar el número de elementos de prueba previa reduce la posibilidad de fatiga del candidato y generalmente elimina la necesidad de extender el tiempo de prueba.

Número de exposiciones de candidatos antes del análisis

Para la teoría de prueba clásica, Prometric recomienda un mínimo de 100 exposiciones candidatas por elemento de prueba previa para evaluar la viabilidad estadística. Las exposiciones de candidatos adicionales (por encima del mínimo de 100) aumentan la estabilidad de los datos del candidato y aumentan la generalización de los resultados de las pruebas preliminares.

Parámetros óptimos para la transición de la prueba previa al elemento vivo

La siguiente sección describe las pautas generales por las cuales los psicometristas internos de Prometric evalúan los elementos de la prueba previa. Aunque los programas individuales pueden diferir, estas pautas son útiles para propósitos generales de evaluación. Tenga en cuenta que estas pautas se aplican solo a aquellos programas que utilizan la teoría de prueba clásica.

Tabla 1: Resumen de especificaciones estadísticas

Los rangos aceptables son mayores que los rangos óptimos y se explican a continuación.

Rango previsto de dificultades del artículo

Valor P = 0.30 a 0.89

El personal de Prometric está capacitado para reconocer que los valores p individuales no representan un valor absoluto y repetible ni garantizan una interpretación concreta. Por el contrario, los psicometristas de Prometric revisan toda la información de análisis de ítems disponible para evaluar las tendencias. Nota: los valores p por sí solos son insuficientes para la mayoría de las interpretaciones de elementos. Todas las revisiones básicas de artículos incorporan valores p y rpBis antes de tomar decisiones de disposición de artículos.

Tabla 2: Directrices de valor p

Cuando se descubre que un elemento es marginal, los desarrolladores miran los rpBis del elemento. Si el rpBis es alto, se otorga más tolerancia para mantener ese elemento en el examen.

Valor (es) objetivo (s) para índices de discriminación de artículos

rpBis = 0,20 a 1,00

Tabla 3: Pautas de rpBis

Después de la evaluación de las estadísticas a nivel de ítem, se toman decisiones sobre cada ítem individual. Los artículos pueden (1) aceptarse tal cual y colocarse en el grupo de exámenes en vivo, (2) aceptarse con modificaciones y volver a ingresar en el grupo de pruebas preliminares, o (3) rechazarse para su uso posterior.

Regresar a la página de Eficiencia de prueba y Defensibilidad legal