Les organisations qui développent et fournissent des tests informatisés rencontrent un grand nombre des mêmes défis que ceux qui travaillent avec des tests papier et crayon traditionnels, y compris des problèmes liés à la sécurité, à l'édition psychométrique et à la défensibilité juridique. De nouveaux problèmes se posent également avec les tests informatiques (CBT), d'autant plus que les tests sont plus largement administrés via Internet. Ces problèmes incluent un risque accru de tricherie et de surexposition des objets.

Pour relever les défis actuels posés par les tests en général ainsi que certains des nouveaux problèmes liés à la TCC, les organisations doivent suivre des processus standard pour le développement des éléments de test et l'édition psychométrique. Par exemple, l'utilisation de plusieurs rédacteurs d'éléments pour développer le contenu d'un test est une pratique courante, mais peut entraîner des variations dans le style, le format et la difficulté des éléments de test. Un guide de style avec des modèles et des normes et règles de développement d'élément peut grandement contribuer à améliorer la cohérence, le format et la variété des éléments. De plus, la formation au développement de contenu peut garantir que les rédacteurs disposent des outils pour développer des articles crédibles et défendables et des modèles d'articles qui peuvent être utilisés pour créer différentes variantes de la même question, augmentant ainsi la taille de la banque d'articles en moins de temps.

L'évaluation statistique des éléments de test sur le terrain permet aux organisations d'obtenir des informations sur les performances spécifiques des éléments et les niveaux cognitifs. Cette intelligence permet la révision des processus de développement des articles et des commentaires pour les développeurs d'articles de test spécifiques - aidant à déterminer ce qui est efficace et comment les articles se comportent sur le terrain. Cela permet également à l'organisation de prendre des décisions sur la conservation, la modification et l'affectation des articles.

Toute organisation développant ou administrant des tests doit être consciente du processus d'édition psychométrique - qui comprend l'évaluation des niveaux de difficulté des éléments et prend en compte des éléments tels que la grammaire, la sensibilité et le style. La psychométrie prévoit également l'examen de la forme et de la fonction des éléments de test, tels que les options parallèles, des informations suffisantes pour répondre à la question et la durée de la réponse.

Compte tenu de l'importance accordée à l'objectivité, l'édition psychométrique est mieux effectuée par des professionnels du développement de tests, et non par des experts en la matière ou des rédacteurs d'articles. Les personnes formées à la complexité de l'édition psychométrique évaluent les articles sous un angle critique différent de celui des experts en la matière ou des rédacteurs d'articles. Il est toutefois important que les experts en la matière examinent et approuvent également le point final édité dans le domaine approprié.

Les articles développés pour CBT et PPT doivent être légalement défendables pour assurer la protection en cas de contestation judiciaire. Pour garantir la défensibilité juridique, les organisations doivent mettre en œuvre un processus standard pour le développement des articles et l'examen psychométrique, comme indiqué ci-dessus.

L'évaluation de la défensibilité juridique comprend un examen critique de l'examen à la fois du point de vue du contenu et de la perspective psychométrique pour s'assurer que l'examen a été développé conformément à la norme pour les tests éducatifs et psychologiques . Les tribunaux s'en remettent aux normes lorsqu'ils évaluent la crédibilité de l'examen en question. La défensibilité juridique peut être réalisée via plusieurs méthodologies. L'aspect le plus important du processus de développement est de suivre et de documenter les méthodologies standardisées et d'inclure le personnel approprié de développement des tests dans le processus. Il existe de nombreuses étapes différentes dans le processus de développement de test et différentes méthodologies qui peuvent être utilisées pour chaque étape. Par exemple, lors de la détermination du score de coupure pour un examen, des processus tels que la méthode Angoff modifiée ou la méthode des signets peuvent être utilisés pour déterminer la norme appropriée pour la réussite. Chacune des méthodes utilise une technique différente pour déterminer la barre qu'un candidat doit atteindre pour recevoir un statut de réussite.

Pour atténuer le risque de surexposition des articles, les sociétés de test développent de grandes banques d'articles de test à partir desquelles le contenu des tests est régulièrement actualisé. Prenant la direction des grands développeurs et administrateurs de tests, les organisations qui administrent des tests informatiques voudront envisager d'utiliser des banques d'éléments étendues et un rafraîchissement planifié des éléments de test pour s'assurer que les candidats ne voient pas les mêmes éléments ou conceptions, ce qui diminue généralement la probabilité que les candidats partagent information.

Dans de nombreux programmes de test à enjeux élevés, les administrateurs de test collectent et examinent des données médico-légales afin de mesurer la fréquence à laquelle les candidats aux tests sont exposés à des éléments de test particuliers, le temps moyen que les candidats passent sur les éléments et la façon dont les réponses des candidats aux éléments changent au fil du temps et de l'exposition. Cela garantit l'ajustement continu du processus de développement des articles et du contenu pour garantir la crédibilité, la légalité et la sécurité.

Il existe également différentes méthodologies qui peuvent être mises en œuvre pour analyser les résultats des candidats après l'examen. L'un de ces types d'analyses est une analyse des éléments différentiels, qui évalue les performances du groupe sur les éléments de test (les groupes peuvent être définis par le sexe, l'origine ethnique ou d'autres facteurs). Les éléments dont les performances varient considérablement d'un groupe de candidats à l'autre sont ensuite réévalués pour déterminer leur utilisation future.

La multitude de facteurs à considérer dans le développement de contenu pour les tests informatiques confèrent tous de la crédibilité et de l'intégrité à l'examen lui-même. Les organisations capables de réfléchir de manière réfléchie à la conception et à la mise en œuvre de leurs programmes de tests se portent mieux que les organisations qui migrent rapidement vers des tests informatiques. Une approche proactive qui tient compte des ressources de développement et d'édition des articles ainsi que des paramètres de sécurité et informatiques sert mieux l'organisation à long terme, car elle augmente la validité des tests, l'équité des candidats et offre un niveau de protection plus élevé contre les défis juridiques.

Retour à la page Efficacité des tests et légitimité de la défense