As organizações que desenvolvem e administram testes on-line devem entender que o desenvolvimento de itens de teste é mais do que simplesmente escrever perguntas. Para proteger os candidatos e a organização de teste, os itens de teste online devem poder enfrentar desafios legais. Um exame legalmente defensável é aquele projetado para fornecer a todos os candidatos a oportunidade igual de exibir seus conhecimentos e não discrimina um grupo com base em raça, cor, origem nacional, sexo, religião ou deficiência protegida.

Mas como as organizações podem garantir que seus testes on-line sejam legalmente defensáveis? A integração de várias práticas recomendadas no desenvolvimento de itens no programa de testes pode ajudar a garantir que os itens de teste medam com precisão e justiça os conhecimentos, habilidades e habilidades de todos os candidatos no pool.

Em primeiro lugar, seguir um processo padrão para o desenvolvimento de itens de teste é essencial para a defensibilidade legal dos itens de teste on-line. Esse processo deve incluir treinamento padronizado para todos os criadores de itens, além de um rigoroso processo de revisão e aprovação de itens. O processo de revisão inclui avaliação de itens como sensibilidade, estilo, correção, nível cognitivo e estrutura geral de todos os itens de teste. Parte do processo de revisão padronizada é conduzida por especialistas no assunto e parte é conduzida por psicometristas e profissionais de desenvolvimento de testes. Como o foco da revisão psicométrica e do desenvolvimento de testes é a objetividade, é melhor executada por profissionais de desenvolvimento de testes, não apenas por especialistas no assunto ou por elaboradores de itens. Indivíduos treinados na complexidade da avaliação psicométrica de itens sob uma luz diferente e mais crítica do que os especialistas no assunto ou os autores dos itens e são mais eficazes para garantir a objetividade dos itens de teste.

Segundo, as organizações podem melhorar a defensibilidade legal dos testes on-line com a coleta e análise contínuas de dados. O uso de métricas para avaliar o desempenho dos itens de teste on-line em campo e determinar os padrões de resposta ao teste pode garantir que nenhum grupo esteja respondendo de maneira diferente às perguntas em geral.

A análise dos dados de resposta do item (a maneira pela qual os candidatos respondem a um item) pode identificar se a terminologia ou as descrições dentro de um item são inadequadas para certas partes da população candidata. Surpreendentemente, a modificação de apenas algumas palavras em um item do exame pode ter um efeito substancial no desempenho do candidato. Por exemplo, ao desenvolver itens para um exame de licenciamento específico, verificou-se que um escritor de itens em particular gosta de usar a palavra "furto" em vez de "roubar". Como a palavra "furto" não teve nenhum significado para a área de licenciamento que está sendo testada, e a palavra "roubo" é uma palavra mais comum conhecida em vários grupos étnicos e socioeconômicos, mudando que uma palavra criou um item mais válido para todo o teste população. A análise pós-administração confirmou que a mudança criou um desempenho mais equitativo dos itens.

Por fim, um registro escrito do desenvolvimento e avaliação contínuos do programa de teste pode servir como proteção em caso de contestação legal. Um processo de desenvolvimento de teste é válido apenas se estiver documentado. A documentação deve incluir a análise do trabalho a partir da qual se baseiam as atribuições de redação do item e as qualificações dos especialistas no assunto e da equipe de desenvolvimento de testes envolvidos nos ciclos de desenvolvimento e revisão do item. Os dados do item e do nível do exame também devem ser armazenados após a avaliação, juntamente com informações de configuração padrão e metodologias de pontuação associadas.

Ao realizar uma revisão de exames que foram contestados em um tribunal, rapidamente se torna óbvio que nem sempre os "melhores" exames são bem-sucedidos contra uma contestação legal. Os exames que suportam contestação legal geralmente são aqueles que seguiram práticas padronizadas e aceitas pelo setor de desenvolvimento de testes e documentaram suas etapas ao longo do caminho. Sem processo e documentação, mesmo os exames com bom desempenho podem deixar de impressionar os tribunais.

As organizações que desenvolvem e administram testes on-line devem sempre projetar o conteúdo e a pontuação de seus exames, considerando cenários legais potencialmente adversos. A adição dessas práticas recomendadas a um processo de teste existente ajudará bastante a diminuir a probabilidade de contestação legal e a solucionar litígios, se necessário:

• Padronização do desenvolvimento do item de teste
• Processos rigorosos de revisão e aprovação de itens
• Coleta de dados em andamento e análise dos resultados dos exames e itens
• Documentação dos processos de desenvolvimento de teste e avaliação contínua

O conhecimento que as organizações estão tentando avaliar é objetivo e, ao implementar as práticas recomendadas acima, as organizações podem ajudar a garantir que seus exames também sejam objetivos.

Retornar à página Eficiência de teste e Defensibilidade legal