Λόγοι για την προεπιλογή

Κάθε πρόγραμμα δοκιμών πρέπει να αναπτύξει διαδικασίες για την ενσωμάτωση νέου περιεχομένου στις εξετάσεις τους. Η προεπιλογή των αντικειμένων πριν από τη χρήση τους ως τεκμηριωμένων στοιχείων σε μια ζωντανή εξέταση γίνεται για δύο βασικούς λόγους:

1. Στατιστική Αξιολόγηση Στοιχείων: Τα αντικείμενα που προεξέχουν επιτρέπουν τη συλλογή στατιστικών στοιχείων σχετικά με την απόδοση των υποψηφίων σε κάθε νέο στοιχείο. Ανεξάρτητα από το πόσο υγιής είναι η διαδικασία ανάπτυξης δοκιμών, είναι πιθανό τα αντικείμενα ποιότητας να εκτελούνται απροσδόκητα στον υποψήφιο πληθυσμό. Η αξιολόγηση των στατιστικών στοιχείων πριν από την εξέταση επιτρέπει την επιβεβαίωση ότι τα νεοαναπτυσσόμενα στοιχεία εκτελούν εντός αποδεκτών στατιστικών παραμέτρων πριν από το στοιχείο που επηρεάζει την βαθμολογία των εξετάσεων ενός υποψηφίου.
2. Συλλογή στατιστικών στοιχείων για την εξίσωση: Προκειμένου να εξασφαλιστεί ότι κάθε υποψήφιος θα λάβει μια εξέταση δίκαιης δυσκολίας, η προεξόφληση των μορφών εξέτασης είναι μια επιθυμητή μέθοδος ανάπτυξης δοκιμών. Η διαχείριση των εξετάσεων από μια συνολική τράπεζα σε ένα συγκεκριμένο επίπεδο δυσκολίας απαιτεί τα ζωντανά στοιχεία που χρησιμοποιούνται στην τράπεζα εξετάσεων να έχουν στατιστικά στοιχεία σχετικά με αυτά. Μία συνεχής, τυποποιημένη διαδικασία προεπεξεργασίας τροφοδοτεί συνεχώς μια τράπεζα στοιχείων και εξασφαλίζει ότι μπορεί να εκτελεσθεί προ-εξίσωση.

Η αξιολόγηση του στοιχείου και η προεξόφληση έχουν σχεδιαστεί για να δημιουργήσουν μια έγκυρη διαδικασία δοκιμών που να είναι δίκαιη για όλους τους υποψηφίους. Ο συνδυασμός αυτών των διαδικασιών σε ένα γενικό αναπτυξιακό σχέδιο διασφαλίζει ότι κάθε ζωντανό στοιχείο που παρουσιάζεται στους υποψηφίους έχει καλή απόδοση και ότι κάθε υποψήφιος λαμβάνει μια εξέταση δίκαιης δυσκολίας. Αυτό δημιουργεί το θεμέλιο για ένα πρόγραμμα δοκιμών που μπορεί να υποστηριχθεί.

Οι ακόλουθες πληροφορίες καλύπτουν τις βασικές εκτιμήσεις για κάθε πρόγραμμα που ενσωματώνει μια διαδικασία προεπιλογής.

Τρόπος παράδοσης

Υπάρχουν διαθέσιμες διάφορες μέθοδοι για τον έλεγχο πριν από τη δοκιμασία - οι δύο κύριες μεθοδολογίες είναι (1) ξεχωριστές μορφές προτύπου και (2) προκαταρκτική δοκιμή ενσωματωμένη σε υπάρχουσα μορφή.

Ξεχωριστά έντυπα προεπιλογής

Ορισμένα προγράμματα προτιμούν να διαχωρίζουν τελείως τη διαδικασία προεπιλογής από τη διαχείριση live εξετάσεων. Προκειμένου να επιτευχθεί αυτός ο στόχος, είναι απαραίτητο να δημιουργηθούν ξεχωριστές εξετάσεις πριν από την εξέταση που μπορούν να χορηγηθούν στον υποψήφιο πληθυσμό. Πραγματοποιούνται ολόκληρες εξετάσεις πριν από την εξέταση με το ίδιο ποσοστό των αντικειμένων που υπάρχουν στη φόρμα εξέτασης. Οι ξεχωριστές μορφές προ-δοκιμασίας χορηγούνται συνήθως σε υποψήφιους εθελοντές κατά τη διάρκεια ειδικών δοκιμών πριν από τη δοκιμασία. Οι υποψήφιοι εθελοντές θα πρέπει να εκπροσωπούν όσο το δυνατόν περισσότερο τον ίδιο τύπο υποψήφιας ομάδας που θα έπαιρνε συνήθως τη ζωντανή εξέταση.

Τα οφέλη αυτής της προσέγγισης είναι ότι η εμπειρία δοκιμών σε πραγματικό χρόνο δεν επηρεάζεται με κανέναν τρόπο. Οι υποψήφιοι που συμμετέχουν στις προκαταρκτικές συνεδρίες το κάνουν εθελοντικά και με πλήρη επίγνωση της διαδικασίας. Τα μειονεκτήματα αυτής της προσέγγισης περιλαμβάνουν (1) ένα παρατεταμένο χρονοδιάγραμμα συλλογής δεδομένων και (2) μια ενδεχόμενη διαστρέβλωση της υποομάδας των υποψηφίων και τα επακόλουθα δεδομένα προ της δοκιμής. Όταν μια διαδικασία προελέγχου βασίζεται σε εθελοντές, απαιτείται γενικά μεγαλύτερη χρονική περίοδος για να συγκεντρωθεί ένα αρκετά μεγάλο δείγμα υποψηφίων για να γίνει δυνατή η ανάλυση των δεδομένων πριν από την εξέταση. Επιπλέον, μια διαδικασία που βασίζεται σε υποψήφιους εθελοντές αλλάζει εγγενώς τη σύνθεση της υποψήφιας ομάδας. Δεδομένου ότι συνήθως είναι υποψήφιοι υποψήφιοι με υψηλό επίτευγμα οι οποίοι θα προσφερθούν εθελοντικά για να λάβουν μια προκαταρκτική εξέταση, η υποψήφια δεξαμενή δεν είναι πλέον αντιπροσωπευτική του πλήρους φάσματος των ατόμων που λαμβάνουν μια ζωντανή εξέταση. Αυτή η δυνητική μεταβολή της υποψήφιας ομάδας με υπερβολικά υψηλές επιδόσεις μπορεί να παραλύσει τα προκύπτοντα δεδομένα πριν από την εξέταση.

Στοιχεία προεπιλογής ενσωματωμένα στην υπάρχουσα φόρμα

Μία δεύτερη μέθοδος προ της δοκιμής περιλαμβάνει τη συμπερίληψη ενός μικρού ποσοστού στοιχείων προ της δοκιμής στα υφιστάμενα έντυπα εξέτασης. Αυτή η μεθοδολογία επιτρέπει τη σταδιακή προεξέταση των αντικειμένων κατά τη διάρκεια των τακτικών διαχειριστικών εξεταστικών εξετάσεων. Ένα πλεονέκτημα αυτής της προσέγγισης είναι ότι οι υποψήφιοι που ανταποκρίνονται στα προκριτικά στοιχεία είναι οι ίδιοι οι υποψήφιοι που λαμβάνουν τη ζωντανή εξέταση - ο οποίος εξαλείφει κατά πολύ την πιθανότητα μόλυνσης της υποψήφιας ομάδας. Επειδή αυτή η διαδικασία δεν συνεπάγεται τη χρήση εθελοντών, επιτρέπει επίσης τη συλλογή στοιχείων προ της δοκιμής με τον πλέον αποτελεσματικό τρόπο, μειώνοντας τις καθυστερήσεις στη συλλογή δεδομένων λόγω του μακρού χρόνου πρόσληψης για τους εθελοντές.

Τα μειονεκτήματα αυτής της προσέγγισης περιλαμβάνουν την επέκταση του αριθμού των αντικειμένων στην εξέταση. Η αύξηση του αριθμού των αντικειμένων σε μια εξέταση μπορεί να αυξήσει το υποψήφιο άγχος και την κόπωση στην απάντηση στις ερωτήσεις σχετικά με την εξέταση. Δευτερευόντως, ένας μικρότερος αριθμός στοιχείων προ της δοκιμής ελέγχονται σε υπάρχοντα έντυπα από ό, τι σε ξεχωριστές μορφές προ της εξέτασης. Ως εκ τούτου, πρέπει να δημιουργηθεί ένα πρωτόκολλο για την περιστροφή των στοιχείων προ της δοκιμής σε εύλογο χρονικό διάστημα.

Υποβολή υποψηφίων

Οι περισσότεροι επαγγελματίες της εξέτασης δοκιμών θα συνιστούσαν να γνωστοποιηθεί στους υποψήφιους η διαδικασία προεπιλογής πριν από τη διεξαγωγή εξετάσεων. Ωστόσο, υπάρχουν επιλογές σχετικά με το πόση πληροφορία αποκαλύπτεται στον υποψήφιο πληθυσμό.

1. Γνώση του αριθμού των αντικειμένων προεπιλογής: Κατά κανόνα οι υποψήφιοι ενημερώνονται πριν από την εξέταση πόσες προκαταρκτικές ερωτήσεις θα εμφανιστούν στην εξέταση. Οι υποψήφιοι ενημερώνονται επίσης ότι τα στοιχεία προ της δοκιμής δεν θα επηρεάσουν τη συνολική βαθμολογία τους.
2. Γνώση των ακριβών αντικειμένων προεπιλογής: Κατά κανόνα οι υποψήφιοι δεν λέγονται ακριβώς ποια στοιχεία είναι τα αντικείμενα προεπιλογής. Αυτό γίνεται για να διασφαλιστεί ότι οι υποψήφιοι θα απαντήσουν στα προκριτικά στοιχεία με τον ίδιο τρόπο που θα απαντήσουν στα αντικείμενα των πραγματικών εξετάσεων (με μια δίκαιη επιθυμία να απαντήσουν σωστά στο στοιχείο).

Μέθοδος παρουσίασης

Αν τα στοιχεία προεπιλογής είναι ενσωματωμένα σε μια υπάρχουσα φόρμα, υπάρχουν διάφοροι τρόποι παρουσίασης των αντικειμένων προεπιλογής. Τρεις μεθοδολογίες περιγράφονται παρακάτω.

1. Έναρξη της εξέτασης: Όλα τα στοιχεία προεπισκόπησης μπορούν να παρουσιαστούν σε μια ενότητα στην αρχή της εξέτασης.
2. Τέλος της εξέτασης: Όλα τα προκριτικά στοιχεία μπορούν να παρουσιαστούν σε μια ενότητα στο τέλος της εξέτασης.
3. Διανέμονται καθόλη τη διάρκεια της εξέτασης: Τα αντικείμενα μπορούν να διανεμηθούν μέσα στις κατάλληλες ενότητες περιεχομένου μέσα στην εξέταση.

Προκειμένου να διασφαλιστεί ότι οι υποψήφιοι θα απαντήσουν στα προκριτικά στοιχεία, όπως θα ήταν ένα ζωντανό στοιχείο στην εξέταση, η Prometric συνιστά να διανεμηθούν τα αντικείμενα προεπιλογής σε όλη τη φόρμα εξέτασης. Αυτό βοηθάει στην εξασφάλιση ότι οι υποψήφιοι δεν μαντέψουν το τμήμα προεπιλογής και επομένως να τροποποιήσουν την απόδοσή τους σε αυτά τα στοιχεία.

Ποσοστό προεπιλεγμένων στοιχείων σε υπάρχουσα φόρμα

Συνήθως συνιστάται να μην ξεπερνούν το 10% των συνολικών στοιχείων της εξέτασης (π.χ. μια εξέταση 40 τεμαχίων δεν πρέπει να περιέχει περισσότερα από 4 στοιχεία προεπιλογής). Ο περιορισμός του αριθμού των στοιχείων προεγγραφής μειώνει την πιθανότητα κόπωσης υποψήφιου και συνήθως εξαλείφει την ανάγκη παράτασης του χρόνου δοκιμής.

Αριθμός υποψήφιων εκθέσεων πριν από την ανάλυση

Για την θεωρία των κλασσικών δοκιμών, η Prometric συνιστά τουλάχιστον 100 υποψήφιες εκθέσεις ανά στοιχείο προ της δοκιμής προκειμένου να αξιολογήσει τη στατιστική βιωσιμότητα. Πρόσθετες υποψήφιες εκθέσεις (πάνω από το ελάχιστο των 100) αυξάνουν τη σταθερότητα των υποψηφίων στοιχείων και αυξάνουν τη γενικευσιμότητα των αποτελεσμάτων πριν από την εξέταση.

Βέλτιστες παράμετροι για τη μετάβαση του προεπιλεγμένου σε ζωντανό στοιχείο

Η ακόλουθη ενότητα περιγράφει τις γενικές οδηγίες βάσει των οποίων οι εσωτερικοί ψυχομετρητές της Prometric αξιολογούν τα στοιχεία προ της δοκιμής. Αν και μεμονωμένα προγράμματα μπορεί να διαφέρουν, αυτές οι οδηγίες είναι χρήσιμες για τους σκοπούς της συνολικής αξιολόγησης. Λάβετε υπόψη ότι αυτές οι οδηγίες ισχύουν μόνο για εκείνα τα προγράμματα που χρησιμοποιούν την κλασική θεωρία δοκιμών.

Πίνακας 1: Περίληψη των στατιστικών προδιαγραφών

Τα αποδεκτά εύρη είναι μεγαλύτερα από τα βέλτιστα εύρη και εξηγούνται παρακάτω

Προβλεπόμενο εύρος δυσκολιών του αντικειμένου

Τιμή P = 0,30 έως 0,89

Το προμετρικό προσωπικό εκπαιδεύεται να αναγνωρίζει ότι οι μεμονωμένες τιμές ρ δεν αντιπροσωπεύουν ούτε μια απόλυτη, επαναλαμβανόμενη αξία ούτε δικαιολογούν μια συγκεκριμένη ερμηνεία. Αντίθετα, οι προμετρικοί ψυχομετρητές εξετάζουν όλες τις διαθέσιμες πληροφορίες ανάλυσης στοιχείων για την αξιολόγηση των τάσεων. Σημείωση: μόνο οι τιμές p είναι ανεπαρκείς για τις περισσότερες ερμηνείες στοιχείων. Όλες οι βασικές αναθεωρήσεις αντικειμένων ενσωματώνουν τιμές ρ και rpBis πριν από τη λήψη αποφάσεων διάθεσης στοιχείων.

Πίνακας 2: Οδηγίες για την τιμή p

Όταν ένα στοιχείο διαπιστωθεί ότι είναι περιθωριακό, οι προγραμματιστές εξετάζουν το rpBis του στοιχείου. Αν το rpBis είναι υψηλό, δίνεται μεγαλύτερη ανοχή για να διατηρηθεί αυτό το στοιχείο στην εξέταση.

Τιμές στόχου για δείκτες διάκρισης στοιχείων

rpBis = 0,20 έως 1,00

Πίνακας 3: Οδηγίες rpBis

Μετά την αξιολόγηση των στατιστικών στοιχείων επιπέδου στοιχείων, λαμβάνονται αποφάσεις για κάθε μεμονωμένο θέμα. Τα στοιχεία μπορούν (1) να γίνονται αποδεκτά ως έχουν και να τοποθετούνται στην ομάδα ζωντανών εξετάσεων, (2) να γίνονται δεκτά με τροποποιήσεις και να επανεισάγονται στην ομάδα δοκιμών, ή (3) να απορρίπτονται από περαιτέρω χρήση.

Επιστροφή στη σελίδα Δοκιμαστική απόδοση και Νομική ευπάθεια