A Prometric possui uma vasta experiência na transição de programas de entrega em papel para entrega em computador. O departamento de desenvolvimento de testes conta com psicometristas que participaram diretamente da pesquisa e aplicação de metodologias para ajudar a garantir um impacto mínimo no desempenho do candidato durante essa transição.
Pesquisa
Como o teste baseado em computador (TCC) se tornou extremamente prolífico nos últimos 10 a 15 anos, a quantidade de pesquisas do setor sobre a comparabilidade entre exames baseados em papel e baseados em computador aumentou consideravelmente. Como seria de esperar, os resultados de pesquisas comuns na introdução inicial de computadores na população de testes não são mais relevantes para as populações candidatas que entram no ambiente de teste atualmente. À medida que as populações candidatas evoluíram em sua exposição, acesso e familiaridade com computadores, os efeitos da introdução de exames baseados em computador diminuíram substancialmente. Isso ocorreu em vários segmentos candidatos, pois a disponibilidade de computadores aumentou exponencialmente em todos os subgrupos de população.
Ao resumir as conclusões dos múltiplos estudos nos últimos 5 a 10 anos (sendo o mais recente realizado em 1997), os principais pontos identificados na área de pesquisa são os seguintes:
- Os tamanhos dos efeitos no desempenho dos exames para testes baseados em papel versus testes baseados em computador são geralmente estatisticamente insignificantes (p> 0,05), sugerindo que não há diferença substancial entre as duas metodologias de teste.
- A análise de Funcionalidade Diferencial de Itens (DIF) em itens individuais entregues em papel versus computador geralmente indica que quando os tipos de itens são propícios para ambas as metodologias de entrega, o desempenho nos itens nos dois canais de entrega é comparável.
- A comunicação clara com o pool de candidatos em relação à entrega de exames com base em computador pode diminuir ainda mais a chance do modo de entrega afetar o desempenho do candidato final.
- A preparação e a prática em um ambiente de teste simulado (por meio de um exame prático e / ou um tutorial antes do teste ao vivo) podem diminuir a ansiedade do desempenho do candidato e contribuir ainda mais para um resultado de teste equitativo.
Além da pesquisa teórica disponível na indústria de testes, a Prometric também possui experiência prática na avaliação e comparação do desempenho do candidato em vários canais de entrega. Migramos com êxito um grande número de clientes de um modo de entrega para outro e avaliamos consistentemente o desempenho do candidato para garantir que todos os candidatos tenham uma oportunidade justa de exibir seu conhecimento (independentemente do canal que está sendo usado). Além disso, a Prometric tem vários clientes que usam um modelo de entrega dupla (tanto em papel quanto em computador), o que também permite o monitoramento contínuo da comparabilidade do desempenho do exame e do desempenho de itens individuais nos vários ambientes de teste. As descobertas da Prometric refletem consistentemente as observações acima da comunidade geral de testes e conseguimos desenvolver e avançar abordagens que garantem o resultado desejado.
Prática
Na migração de um programa de exames, há várias etapas que devem ser consideradas. Embora haja um grande número de tarefas individuais, as principais atividades incluem o seguinte:
- Avaliação do banco de itens atual Uma avaliação do banco de itens atual em papel geralmente é feita no início do projeto para garantir a aplicabilidade a um ambiente baseado em computador e para reunir estatísticas de linha de base para avaliação futura.
- Modificação da apresentação do item Se necessário, a Prometric faz recomendações sobre modificações de itens individuais para aumentar a probabilidade de desempenho equitativo no exame geral em um ambiente baseado em computador.
- Preparar um esforço de comunicação para os candidatos A Prometric trabalha com os clientes para garantir que uma campanha de comunicação apropriada seja desenvolvida para a população candidata antes da introdução de um novo modelo de entrega.
- Preparar exames de amostra e / ou tutoriais O Prometric prepara exames práticos e / ou tutoriais que são fornecidos ao candidato antes de um exame ao vivo para aumentar o nível de conforto da população candidata com o modelo de entrega de teste.
- Análise de itens e exames Usando os dados da linha de base coletados na etapa 2, a Prometric avaliará o desempenho em nível de exame e item para garantir a comparabilidade do desempenho do candidato.
- Monitoramento e manutenção contínuos A avaliação do modelo de entrega não para após a confirmação inicial da comparabilidade. Os psicométricos da Prometric monitoram continuamente o desempenho dos itens e exames do USPS para garantir que estejam executando dentro de parâmetros estatísticos aceitáveis e para prever necessidades futuras de desenvolvimento de testes.
A Prometric incorpora as metodologias acima em nossos processos de desenvolvimento e entrega de testes para garantir um processo justo, válido e legalmente defensável para todos os candidatos. Nossa experiência na implementação bem-sucedida de exames baseados em computador é comparada aos nossos processos comprovados para garantir a qualidade do produto e o desempenho durante todo o ciclo de vida dos exames.