Razões para o pré-teste

Qualquer programa de teste precisa desenvolver processos para incorporar novo conteúdo em seus exames. O pré-teste dos itens antes de usá-los como itens pontuados em um exame ao vivo é realizado por dois motivos principais:

1. Avaliação estatística de itens: os itens de pré-teste permitem a coleta de estatísticas sobre o desempenho do candidato em cada novo item. Independentemente da qualidade do processo de desenvolvimento do teste, é possível que itens de qualidade tenham um desempenho inesperado na população candidata. A avaliação das estatísticas do pré-teste permite a confirmação de que os itens recém-desenvolvidos estão executando dentro de parâmetros estatísticos aceitáveis antes do item que afeta a pontuação no exame de um candidato.
2. Coletando estatísticas para equiparar: para garantir que todo candidato receba um exame de dificuldade eqüitativa, a pré-equiparação dos formulários de exame é um método de desenvolvimento de teste desejado. A administração de exames de um banco geral para um nível de dificuldade especificado exige que os itens ativos usados no banco de exames tenham estatísticas associadas a eles. Um processo de pré-teste contínuo e padronizado alimenta continuamente um banco de itens e garante que a pré-equação possa ser executada.

A avaliação do item e a pré-equação são projetadas para criar um processo de teste válido que seja justo para todos os candidatos. A combinação desses processos em um plano geral de desenvolvimento garante que cada item ativo apresentado aos candidatos tenha um bom desempenho e que cada candidato receba um exame de dificuldade eqüitativa. Isso cria a base para um programa de teste defensável.

As informações a seguir abordam as principais considerações para qualquer programa que incorpore um processo de pré-teste.

Modo de entrega

Existem diferentes metodologias disponíveis para pré-teste - as duas principais metodologias são (1) formas separadas de pré-teste e (2) pré-teste incorporado a uma forma existente.

Formulários de pré-teste separados

Alguns programas preferem separar completamente o processo de pré-teste da administração do exame ao vivo. Para atingir esse objetivo, é necessário criar exames pré-teste separados que possam ser administrados à população candidata. Os exames pré-teste completos são criados com a mesma proporção de itens presentes no formulário do exame ao vivo. Formulários separados de pré-teste são normalmente administrados a candidatos voluntários durante administrações especiais de pré-teste. Os candidatos voluntários devem representar o mais próximo possível o mesmo tipo de pool de candidatos que normalmente faria o exame ao vivo.

Os benefícios dessa abordagem são que a experiência de teste ao vivo não é afetada de forma alguma. Os candidatos que participam das sessões de pré-teste o fazem voluntariamente e com plena consciência do processo. As desvantagens dessa abordagem incluem (1) um período estendido de coleta de dados e (2) uma possível inclinação do pool de candidatos e dos dados subsequentes do pré-teste. Quando um processo de pré-teste depende de voluntários, geralmente leva um longo período de tempo para reunir uma amostra grande e suficiente de candidatos para permitir a análise dos dados do pré-teste. Além disso, um processo que depende de candidatos voluntários altera inerentemente a composição do pool de candidatos. Como geralmente são os candidatos motivados e de alto desempenho que se voluntariam para fazer um exame de pré-teste, o pool de candidatos não é mais representativo de toda a gama de indivíduos que fazem um exame ao vivo. Essa alteração potencial do pool de candidatos com desempenho predominantemente alto pode distorcer os dados de pré-teste resultantes.

Itens de pré-teste incorporados no formulário existente

Uma segunda metodologia de pré-teste envolve a inclusão de uma pequena porcentagem de itens de pré-teste nos formulários de exame existentes. Essa metodologia permite o pré-teste gradual dos itens durante as administrações regulares dos exames. Um benefício dessa abordagem é que os candidatos que respondem aos itens do pré-teste são os mesmos candidatos que fazem o exame ao vivo - o que elimina amplamente o potencial de contaminação do pool de candidatos. Como esse processo não envolve o uso de voluntários, também permite a coleta de dados de pré-teste da maneira mais eficiente, reduzindo os atrasos na coleta de dados devido ao longo tempo de recrutamento de voluntários.

As desvantagens dessa abordagem envolvem a extensão do número de itens no exame. Aumentar o número de itens em um exame pode aumentar a ansiedade e a fadiga do candidato em responder às perguntas do exame. Secundariamente, um número menor de itens de pré-teste é testado em formulários existentes do que em formulários separados de pré-teste. Portanto, um protocolo deve ser estabelecido para alternar os itens de pré-teste em um prazo razoável.

Divulgação de Candidatos

A maioria dos profissionais de desenvolvimento de testes recomendaria que o processo de pré-teste fosse divulgado aos candidatos antes da administração do exame. Existem opções, no entanto, a respeito de quanta informação é divulgada à população candidata.

1. Conhecimento do número de itens de pré-teste: Normalmente, os candidatos são informados antes do exame quantos itens de pré-teste serão exibidos no exame. Os candidatos também são informados de que os itens do pré-teste não afetarão sua pontuação geral.
2. Conhecimento exato dos itens pré-teste: Normalmente, os candidatos não são informados exatamente quais são os itens pré-teste. Isso é feito para garantir que os candidatos respondam aos itens do pré-teste da mesma maneira que respondem aos itens do exame ao vivo (com um desejo equitativo de responder o item corretamente).

Método de Apresentação

Se itens de pré-teste são incorporados a um formulário existente, existem várias maneiras de apresentar os itens de pré-teste. Três metodologias são descritas abaixo.

1. Início do exame: Todos os itens do pré-teste podem ser apresentados em uma seção no início do exame.
2. Fim do exame: todos os itens do pré-teste podem ser apresentados em uma seção no final do exame.
3. Distribuído durante o exame: os itens podem ser distribuídos nas seções de conteúdo apropriadas do exame.

Para garantir que os candidatos respondam aos itens do pré-teste como se fossem um item ativo no exame, a Prometric recomenda que os itens do pré-teste sejam distribuídos por todo o formulário do exame. Isso ajuda a garantir que os candidatos não adivinhem a seção de pré-teste e, portanto, modifiquem seu desempenho nesses itens.

Porcentagem de itens de pré-teste em um formulário existente

Normalmente, é recomendável que os itens do pré-teste não ultrapassem 10% do total de itens no exame (por exemplo, um exame de 40 itens não deve conter mais do que 4 itens). Limitar o número de itens de pré-teste reduz a possibilidade de fadiga do candidato e normalmente elimina a necessidade de estender o tempo de teste.

Número de exposições de candidatos antes da análise

Para a teoria clássica dos testes, a Prometric recomenda um mínimo de 100 exposições de candidatos por item de pré-teste para avaliar a viabilidade estatística. Exposições adicionais do candidato (acima do mínimo de 100) aumentam a estabilidade dos dados do candidato e aumentam a generalização dos resultados do pré-teste.

Parâmetros ideais para a transição do pré-teste para o item ativo

A seção a seguir descreve as diretrizes gerais pelas quais os psicométricos internos da Prometric avaliam itens de pré-teste. Embora os programas individuais possam diferir, essas diretrizes são úteis para fins de avaliação geral. Observe que essas diretrizes se aplicam apenas aos programas que utilizam a teoria clássica dos testes.

Tabela 1: Resumo das especificações estatísticas

Intervalos aceitáveis são maiores que os ideais e são explicados abaixo

Faixa pretendida de dificuldades de itens

Valor P = 0,30 a 0,89

A equipe da Prometric é treinada para reconhecer que os valores de p individuais não representam um valor absoluto e repetível, nem justificam uma interpretação concreta. Em vez disso, os psicométricos da Prometric revisam todas as informações de análise de itens disponíveis para avaliar tendências. Nota: somente os valores de p são insuficientes para a maioria das interpretações de itens. Todas as revisões básicas de itens incorporam valores-p e rpBis antes de tomar decisões de disposição de itens.

Tabela 2: Diretrizes de valor-p

Quando um item é considerado marginal, os desenvolvedores analisam os rpBis do item. Se o rpBis for alto, será dada mais tolerância para manter esse item no exame.

Valores-alvo para índices de discriminação de itens

rpBis = 0,20 a 1,00

Tabela 3: Diretrizes rpBis

Após a avaliação das estatísticas no nível do item, são tomadas decisões em cada item individual. Os itens podem ser (1) aceitos como estão e colocados na piscina de exames ao vivo, (2) aceitos com modificações e reinseridos na piscina de pré-teste ou (3) rejeitados para uso posterior.

Retornar à página Eficiência de teste e Defensibilidade legal