Raisons du prétest

Tout programme de test doit développer des processus pour incorporer de nouveaux contenus dans ses examens. Le prétest des éléments avant de les utiliser comme éléments notés lors d'un examen en direct est effectué pour deux raisons principales:

1. Évaluation statistique des articles: le prétestage des articles permet de recueillir des statistiques concernant les performances des candidats pour chaque nouvel article. Quelle que soit la solidité du processus de développement du test, il est possible que des éléments de qualité se comportent de manière inattendue au sein de la population candidate. L'évaluation des statistiques de prétest permet de confirmer que les éléments nouvellement développés fonctionnent dans des paramètres statistiques acceptables avant que l'élément n'affecte le score à l'examen d'un candidat.
2. Collecte de statistiques pour égaliser: Afin de garantir que chaque candidat reçoit un examen de difficulté équitable, la pré-égalisation des formulaires d'examen est une méthode de développement de test souhaitée. L'administration des examens d'une banque globale à un niveau de difficulté spécifié nécessite que les éléments en direct utilisés dans la banque d'examens soient associés à des statistiques. Un processus de prétest continu et standardisé alimente en permanence une banque d'articles et garantit que la pré-égalisation peut être effectuée.

L'évaluation des articles et la pré-égalisation sont toutes deux conçues pour créer un processus de test valide qui soit équitable pour tous les candidats. La combinaison de ces processus dans un plan de développement global garantit que chaque élément en direct présenté aux candidats fonctionne bien et que chaque candidat reçoit un examen de difficulté équitable. Cela crée les bases d'un programme de test défendable.

Les informations suivantes couvrent les principales considérations pour tout programme intégrant un processus de prétest.

Mode de livraison

Il existe différentes méthodologies disponibles pour le pré-test - les deux principales méthodologies sont (1) des formulaires de pré-test séparés et (2) un pré-test intégré dans un formulaire existant.

Formulaires de prétest séparés

Certains programmes préfèrent séparer complètement le processus de prétest de l'administration de l'examen en direct. Pour atteindre cet objectif, il est nécessaire de créer des examens préalables distincts qui peuvent être administrés à la population candidate. Des examens de prétest entiers sont créés avec la même proportion d'éléments présents sur le formulaire d'examen en direct. Des formulaires de prétest séparés sont généralement administrés aux candidats volontaires lors d'administrations spéciales de prétest. Les candidats bénévoles devraient représenter le plus fidèlement possible le même type de bassin de candidats qui passeraient généralement l'examen en direct.

Les avantages de cette approche sont que l'expérience de test en direct n'est en aucun cas affectée. Les candidats qui participent aux sessions de pré-test le font volontairement et en pleine connaissance du processus. Les inconvénients de cette approche comprennent (1) un délai étendu pour la collecte de données, et (2) une asymétrie potentielle du pool de candidats et des données de prétest ultérieures. Lorsqu'un processus de prétest repose sur des volontaires, il faut généralement plus de temps pour rassembler un échantillon suffisamment grand de candidats pour permettre l'analyse des données du prétest. De plus, un processus qui repose sur des candidats bénévoles modifie de façon inhérente la composition du bassin de candidats. Étant donné que ce sont généralement les candidats motivés et performants qui se porteront volontaires pour passer un examen préalable, le bassin de candidats n'est plus représentatif de l'ensemble des personnes qui passent un examen en direct. Cette altération potentielle du pool de candidats avec des performances principalement élevées peut fausser les données de prétest résultantes.

Éléments de prétest intégrés au formulaire existant

Une deuxième méthodologie de prétest consiste à inclure un petit pourcentage d'éléments de prétest dans les formulaires d'examen existants. Cette méthodologie permet le pré-test progressif des éléments lors des administrations d'examen régulières. Un avantage de cette approche est que les candidats qui répondent aux questions du prétest sont les mêmes candidats qui passent l'examen en direct - ce qui élimine considérablement le risque de contamination du bassin de candidats. Étant donné que ce processus n'implique pas l'utilisation de volontaires, il permet également la collecte de données de prétest de la manière la plus efficace, ce qui réduit les retards dans la collecte de données en raison du long temps de recrutement des volontaires.

Les inconvénients de cette approche impliquent l'extension du nombre d'éléments à l'examen. L'augmentation du nombre d'éléments à un examen peut augmenter l'anxiété et la fatigue des candidats lorsqu'ils répondent aux questions de l'examen. Secondairement, un plus petit nombre d'articles de prétest sont testés dans des formulaires existants que dans des formulaires de prétest séparés. Par conséquent, un protocole doit être établi pour faire pivoter les éléments de prétest dans un délai raisonnable.

Divulgation du candidat

La plupart des professionnels du développement de tests recommanderaient que le processus de prétest soit divulgué aux candidats avant l'administration d'un examen. Il existe cependant des options concernant la quantité d'informations divulguées à la population candidate.

1. Connaissance du nombre d'articles de pré-test: Généralement, les candidats sont informés avant l'examen du nombre d'articles de pré-test qui apparaîtront à l'examen. Les candidats sont également informés que les éléments du pré-test n'affecteront pas leur score global.
2. Connaissance des éléments de pré-test exacts: En règle générale, les candidats ne sont pas informés exactement quels sont les éléments de pré-test. Ceci est fait pour s'assurer que les candidats répondent aux éléments du prétest de la même manière qu'ils répondent aux éléments de l'examen en direct (avec un désir équitable de répondre correctement à l'élément).

Méthode de présentation

Si des éléments de prétest sont intégrés dans un formulaire existant, il existe différentes manières de présenter les éléments de prétest. Trois méthodologies sont décrites ci-dessous.

1. Début de l'examen: Tous les éléments du pré-test peuvent être présentés dans une section au début de l'examen.
2. Fin de l'examen: Tous les éléments du prétest peuvent être présentés dans une section à la fin de l'examen.
3. Distribué tout au long de l'examen: les éléments peuvent être distribués dans les sections de contenu appropriées de l'examen.

Afin de garantir que les candidats répondent aux éléments du pré-test comme ils le feraient pour un élément en direct de l'examen, Prometric recommande que les éléments du pré-test soient distribués tout au long du formulaire d'examen. Cela aide à garantir que les candidats ne devinent pas la section de pré-test et modifient donc leurs performances sur ces éléments.

Pourcentage d'éléments prétest dans un formulaire existant

Il est généralement recommandé que les éléments de pré-test ne dépassent pas 10% du total des éléments de l'examen (par exemple, un examen de 40 éléments ne doit pas contenir plus de 4 éléments de pré-test). La limitation du nombre d'éléments de prétest réduit les risques de fatigue des candidats et élimine généralement la nécessité de prolonger la durée des tests.

Nombre d'expositions de candidats avant l'analyse

Pour la théorie des tests classiques, Prometric recommande un minimum de 100 expositions candidates par élément de prétest afin d'évaluer la viabilité statistique. Des expositions supplémentaires aux candidats (supérieures au minimum à 100) augmentent la stabilité des données des candidats et augmentent la généralisabilité des résultats du prétest.

Paramètres optimaux pour la transition du prétest à l'élément en direct

La section suivante décrit les directives générales par lesquelles les psychométriciens internes Prometric évaluent les éléments de prétest. Bien que les programmes individuels puissent différer, ces lignes directrices sont utiles à des fins d'évaluation globale. Veuillez noter que ces directives s'appliquent uniquement aux programmes qui utilisent la théorie des tests classique.

Tableau 1: Résumé des spécifications statistiques

Les plages acceptables sont plus grandes que les plages optimales et sont expliquées ci-dessous

Gamme prévue de difficultés d'objet

Valeur P = 0,30 à 0,89

Le personnel de Prometric est formé pour reconnaître que les valeurs p individuelles ne représentent ni une valeur absolue et reproductible ni ne justifient une interprétation concrète. Les psychométriciens prométriques examinent plutôt toutes les informations d'analyse des éléments disponibles pour évaluer les tendances. Remarque: les valeurs de p seules sont insuffisantes pour la plupart des interprétations d'items. Tous les examens élémentaires des articles intègrent les valeurs p et les rpBis avant de prendre des décisions d'élimination des articles.

Tableau 2: Lignes directrices sur la valeur de p

Lorsqu'un élément s'avère marginal, les développeurs examinent le rpBis de l'élément. Si le rpBis est élevé, une plus grande tolérance est accordée pour conserver cet élément à l'examen.

Valeur (s) cible (s) pour les indices de discrimination d'articles

rpBis = 0,20 à 1,00

Tableau 3: Lignes directrices rpBis

Après évaluation des statistiques au niveau des articles, les décisions sont prises pour chaque article individuel. Les éléments peuvent être (1) acceptés tels quels et placés dans le pool d'examen en direct, (2) acceptés avec modifications et réinscrits dans le pool de prétest, ou (3) rejetés pour une utilisation ultérieure.

Retour à la page Efficacité des tests et légitimité de la défense