Este documento descreve as diretrizes gerais pelas quais os psicométricos internos da Prometric avaliam e sinalizam itens internos para revisão adicional. Essas diretrizes se aplicam aos programas que utilizam a teoria clássica dos testes.
|
Elementos da montagem do formulário e revisão estatística |
Especificações / Padrões |
|---|---|
|
1. Gama de dificuldades do item |
Valores P = 0,30 - 0,89 (ideal) * |
|
2. Valores-alvo para índices de discriminação de itens |
rpBis> .20 |
|
3. Intervalos alvo para estimativas de confiabilidade da consistência interna |
Alfa> .80 |
| 4. Intervalos alvo para estimativas de consistência ou confiabilidade da classificação | Livingston> .80 |
|
Intervalos aceitáveis são maiores que os ideais e são explicados abaixo |
Faixa pretendida de dificuldades de itens
| Valor P = 0,30 a 0,89 |
|---|
A equipe da Prometric é treinada para reconhecer que os valores de p individuais não representam um valor absoluto e repetível, nem justificam uma interpretação concreta. Em vez disso, os psicométricos da Prometric revisam todas as informações de análise de itens disponíveis para avaliar tendências. Nota: somente os valores de p são insuficientes para a maioria das interpretações de itens. Todas as revisões básicas de itens incorporam valores-p e rpBis antes de tomar decisões de disposição de itens.
| Valor p (fácil a difícil) | Interpretação do item |
|---|---|
|
1,00 a 0,96 |
Itens inaceitáveis com valor mínimo de medição que devem ser sinalizados para remoção ou revisão pelas PME. |
|
0,90 a 0,95 |
Itens muito fáceis (possivelmente inaceitáveis): revise rpBis para verificar se há discriminação adequada. Pode precisar rever minhas PME. |
|
0,89 a 0,80 |
Itens razoavelmente fáceis (aceitáveis): revise o rpBis para confirmar a discriminação. |
|
0,79 a 0,40 |
Itens difíceis a moderadamente fáceis (aceitáveis): use se o rpBis estiver dentro das especificações. |
| 0,39 a 0,30 | Itens difíceis (aceitáveis): revise o rpBis de perto, use se o rpBis estiver dentro das especificações. |
| 0,29 a 0,20 | Itens muito difíceis (possivelmente inaceitáveis): rpBis reveja a discriminação adequada. Pode precisar de revisão pelas PME. |
| 0,19 a 0,00 | Itens inaceitáveis: inapropriadamente difíceis ou com falhas. Deve ser sinalizado para remoção ou revisão pelas PME. |
Quando um item é considerado marginal, os desenvolvedores analisam os rpBis do item. Se o rpBis for alto, será dada mais tolerância para manter esse item no exame.
Valores-alvo para índices de discriminação de itens
| rpBis = 0,20 a 1,00 |
|---|
O ponto Biserial (rpBis) é usado pelos psicometristas da Prometric para determinar o poder de discriminação de cada item. Como outras estatísticas clássicas, o uso de rpBis não é uma ciência exata. Em alguns casos, valores baixos de rpBis podem resultar de valores de p particularmente altos ou baixos, baixa variação de itens devido a distratores implausíveis, baixa variação de pontuação devido à homogeneidade dos candidatos ou distribuições de pontuação extremamente distorcidas. Portanto, os psicométricos da Prometric precisam levar em consideração várias estatísticas ao revisar as análises de itens. A Tabela 3 resume as diretrizes que os desenvolvedores usam ao revisar a discriminação de itens. Observe que essas diretrizes assumem que o item foi digitado corretamente e a amostra de candidatos é suficientemente grande.
|
RpBis (forte a fraco) |
Interpretação do item |
|---|---|
|
1,00 a 0,50 |
Muito forte (aceitável) |
|
0,49 a 0,30 |
Forte (aceitável) |
|
0,29 a 0,20 |
Aceitável (mas pode precisar de revisão) |
|
0,19 a 0,10 |
Itens marginais (possivelmente inaceitáveis): revise o texto e os distratores. |
| 0,09 a 0,00 | Itens fracos (inaceitáveis): os valores de p provavelmente são muito altos. Sinalizador para remoção ou revisão por PME. |
| -0,01 a –0,20 |
Itens inaceitáveis: inadequadamente difíceis ou com falhas. Deve ser sinalizado para remoção ou revisão pelas PME. |
A Tabela 4 lista as interpretações usadas pela equipe psicométrica para várias faixas de coeficientes alfa.
|
Alfa |
Interpretação da confiabilidade da consistência interna |
|---|---|
|
Menos que 0,60 |
Coeficientes inaceitáveis que requerem novas formas |
|
0,60 a 0,69 |
Coeficientes ruins que exigem revisão ou remoção do formulário |
|
0,70 a 0,79 |
Coeficientes marginais que podem exigir revisão / revisão de formulário |
|
0,80 a 0,89 |
Bons coeficientes |
|
0.90 ou superior |
Excelentes coeficientes |
O intervalo alvo para estimativas da consistência ou confiabilidade da classificação da decisão de aprovação / reprovação
|
r = 0,80 ou superior |
|---|
A Prometric selecionou o método de perda de erro ao quadrado da Livingston para calcular a confiabilidade da consistência da decisão. Este método foi selecionado porque pode ser interpretado como outras medidas de confiabilidade (discutidas acima). É muito menos complexo que os métodos de perda de limite e pode ser executado em todos os formulários de administração única. O uso desta estatística é consistente com o Padrão 2.3 nas Normas para Testes Educacionais e Psicológicos, p. 20
Recomendações Prométricas - Índices de bancos de itens
Os padrões internos da Prometric e as recomendações de clientes para bancos de itens estão descritos na Tabela 1 abaixo.
|
Nível de recomendação |
Alcance |
|---|---|
|
1. Alcance Mínimo do Alvo |
1,5 a 2 vezes o número de itens por formulário |
|
2. Alcance aceitável do alvo |
2 a 3 vezes o número de itens por formulário |
|
3. Faixa ideal de alvo |
3 a 5 vezes o número de itens por formulário |
Retornar à página Eficiência de teste e Defensibilidade legal