Seja um exame baseado em computador ou oferecido em papel, os desafios relacionados ao seu desenvolvimento, incluindo segurança, edição ou revisão psicométrica e defensabilidade legal, permanecem os mesmos. Além desses problemas "antigos", os exames baseados em computador ou na Internet, uma vez que são realizados de maneira mais ampla, oferecem uma camada adicional de risco, principalmente no que diz respeito à segurança do exame.

Para enfrentar os desafios de novos e contínuos testes, as organizações são bem atendidas seguindo um conjunto padrão de processos para desenvolvimento de itens de teste e edição psicométrica. Por exemplo, muitas organizações usam vários criadores de itens para desenvolver o conteúdo do exame. Embora seja uma prática comum, pode levar a variações no estilo, formato ou dificuldade do item de teste. Um guia de estilo com modelos e padrões e regras de desenvolvimento de itens pode ajudar bastante a melhorar a consistência, o formato e a variedade dos itens. Além disso, o treinamento em desenvolvimento de conteúdo pode garantir que os escritores tenham as ferramentas para desenvolver itens confiáveis e defensáveis e modelos de itens que podem ser usados para criar diferentes variações da mesma pergunta, aumentando assim o tamanho do banco de itens em um período menor.

A avaliação estatística dos itens de teste no campo é fundamental para obter feedback sobre o desempenho de itens específicos, níveis de exposição, padrões de resposta e níveis cognitivos. Essa inteligência permite a revisão dos processos de desenvolvimento de itens e feedback para desenvolvedores específicos de itens de teste - ajudando a determinar o que é eficaz e como os itens se saem no campo. Isso também permite que a organização tome decisões sobre retenção, modificação e atribuição de itens. As medidas em torno do uso e da exposição são úteis para determinar quando é necessário atualizar os bancos de itens ou criar novos itens inteiramente.

Qualquer organização que desenvolva ou administre testes deve estar consciente do processo de edição psicométrica, que inclui a avaliação dos níveis de dificuldade dos itens e leva em consideração coisas como gramática, sensibilidade e estilo. A psicometria também fornece a revisão da forma e função do item de teste, como opções paralelas, informações suficientes para responder à pergunta e duração da resposta.

A objetividade no desenvolvimento de itens e testes é extremamente importante e, como tal, a edição psicométrica é melhor executada por profissionais de desenvolvimento de testes, não por especialistas no assunto ou por elaboradores de itens. Indivíduos treinados na complexidade da edição psicométrica avaliam os itens sob uma luz diferente e mais crítica do que os especialistas no assunto ou os autores dos itens. Isso não significa que os especialistas no assunto não sejam parte integrante do processo; pelo contrário. É importante ter a revisão e aprovação do item final editado por especialistas no assunto no campo apropriado.

Os itens desenvolvidos para qualquer forma de teste devem ser legalmente defensáveis para garantir que a organização esteja protegida no caso de uma contestação legal. A implementação de um processo padrão para o desenvolvimento de itens e a revisão psicométrica, conforme discutido acima, pode maximizar a defensibilidade de uma organização.

A avaliação da defensibilidade legal inclui uma revisão crítica do exame, tanto do ponto de vista psicológico quanto do conteúdo, para garantir que o exame foi desenvolvido de acordo com o Padrão para testes educacionais e psicológicos. Os tribunais adiam as Normas ao avaliar a credibilidade do exame em questão. A defensibilidade legal pode ser realizada através de várias metodologias. O aspecto mais importante do processo de desenvolvimento é seguir e documentar metodologias padronizadas e incluir pessoal de desenvolvimento de teste apropriado no processo. Existem muitas etapas diferentes no processo de desenvolvimento de teste e metodologias diferentes que podem ser usadas para cada etapa. Por exemplo, ao determinar a pontuação reduzida para um exame, processos como o Angoff modificado ou o Método de marcador podem ser usados para determinar o padrão apropriado para aprovação. Cada um dos métodos usa uma técnica diferente para determinar a barra que um candidato deve alcançar para receber um status de aprovação.

O desenvolvimento de grandes bancos de itens de teste a partir dos quais o conteúdo do teste é atualizado rotineiramente também reduz o risco de superexposição de itens para empresas de teste. Assumindo a liderança dos grandes desenvolvedores e administradores de teste, as organizações que administram testes baseados em computador ou na Internet devem considerar o uso de bancos de itens expandidos e a atualização agendada de itens de teste para garantir que os candidatos não vejam os mesmos itens ou designs, geralmente diminuindo a probabilidade de os candidatos compartilharem informações ou reconhecerem as perguntas usadas anteriormente durante uma situação de reteste.

Em muitos programas de teste de alto risco, os administradores de teste coletam e examinam dados forenses para medir com que frequência os candidatos a teste são expostos a itens de teste específicos, o tempo médio que os candidatos gastam em itens e como as respostas dos candidatos aos itens mudam com o tempo e a exposição. Isso garante o ajuste contínuo do processo e do conteúdo de desenvolvimento do item para garantir credibilidade, legalidade e segurança.

A multiplicidade de fatores a serem considerados durante o desenvolvimento do teste confere credibilidade e integridade ao próprio exame. As organizações capazes de considerar cuidadosamente o design e a implementação de seus programas de teste se saem proativamente melhor do que as organizações que não fazem a devida diligência e publicam exames com pressa. Uma abordagem proativa que considera os recursos de desenvolvimento e edição de itens, bem como os parâmetros de segurança e TI, atende melhor a organização a longo prazo, pois aumenta a validade do teste, a imparcialidade do candidato e oferece um nível mais alto de proteção contra desafios legais.

Muitas das soluções bancárias de itens da "próxima geração" desempenham todas essas funções e muito mais - aproveitando os componentes críticos do desenvolvimento de testes e facilitando sua aplicação. O uso de uma poderosa ferramenta de banco de itens da "próxima geração" pode transformar todo o ciclo de vida de desenvolvimento de testes. As ferramentas de banco de itens podem otimizar a maneira como os itens são desenvolvidos, alterar a maneira como os programas de teste são mantidos, evoluir o processo de controle de qualidade, atualizar a segurança dos itens, reunir e integrar vários aspectos dos itens, melhorar a qualidade dos conjuntos de itens e facilitar o gerenciamento geral dos programas de teste . Criar um teste sólido, válido e eficaz nunca foi tão fácil.

Retornar à página Eficiência de teste e Defensibilidade legal