Αυτό το έγγραφο περιγράφει τις γενικές κατευθυντήριες γραμμές με τις οποίες οι εσωτερικοί ψυχομετρητές της Prometric αξιολογούν και επισημαίνουν τα εσωτερικά στοιχεία για επιπλέον έλεγχο. Αυτές οι οδηγίες ισχύουν για εκείνα τα προγράμματα που χρησιμοποιούν κλασική θεωρία δοκιμών.
|
Στοιχεία συναρμολόγησης εντύπων και στατιστική ανασκόπηση |
Προδιαγραφές / Πρότυπα |
|---|---|
|
1. Εύρος δυσκολιών στοιχείων |
Τιμές P = .30 - .89 (βέλτιστη) * |
|
2. Τιμή / -ες-στόχος (-ες) για δείκτες διάκρισης στοιχείων |
rpBis> .20 |
|
3. Εύρος στόχων για εκτιμήσεις εσωτερικής αξιοπιστίας συνάφειας |
Alpha> .80 |
| 4. Εύρος στόχων για εκτιμήσεις της συνοχής ή της αξιοπιστίας της ταξινόμησης | Livingston> .80 |
|
Τα αποδεκτά εύρη είναι μεγαλύτερα από τα βέλτιστα εύρη και εξηγούνται παρακάτω |
Προβλεπόμενο εύρος δυσκολιών του αντικειμένου
| Τιμή P = 0,30 έως 0,89 |
|---|
Το προμετρικό προσωπικό εκπαιδεύεται να αναγνωρίζει ότι οι μεμονωμένες τιμές ρ δεν αντιπροσωπεύουν ούτε μια απόλυτη, επαναλαμβανόμενη αξία ούτε δικαιολογούν μια συγκεκριμένη ερμηνεία. Αντίθετα, οι προμετρικοί ψυχομετρητές εξετάζουν όλες τις διαθέσιμες πληροφορίες ανάλυσης στοιχείων για την αξιολόγηση των τάσεων. Σημείωση: μόνο οι τιμές p είναι ανεπαρκείς για τις περισσότερες ερμηνείες στοιχείων. Όλες οι βασικές αναθεωρήσεις αντικειμένων ενσωματώνουν τιμές ρ και rpBis πριν από τη λήψη αποφάσεων διάθεσης στοιχείων.
| p-τιμή (εύκολο στο σκληρό) | Ερμηνεία στοιχείου |
|---|---|
|
1,00 έως 0,96 |
Μη αποδεκτά αντικείμενα με ελάχιστη τιμή μέτρησης που πρέπει να σημαίνονται για απομάκρυνση ή αναθεώρηση από τις ΜΜΕ. |
|
0,90 έως 0,95 |
Πολύ εύκολο (πιθανώς απαράδεκτο): Αναθεώρηση του rpBis για κατάλληλες διακρίσεις. Μπορεί να χρειαστεί αναθεώρηση των ΜΜΕ μου. |
|
0,89 έως 0,80 |
Αρκετά εύκολα (αποδεκτά) στοιχεία: Ανασκόπηση του rpBis για επιβεβαίωση των διακρίσεων. |
|
0,79 έως 0,40 |
Τα σκληρά έως μέτρια εύκολα (αποδεκτά) αντικείμενα: χρήση αν το rpBis είναι εντός προδιαγραφών. |
| 0,39 έως 0,30 | Δύσκολα (αποδεκτά) αντικείμενα: Ελέγξτε προσεκτικά το rpBis, εάν το rpBis είναι εντός προδιαγραφών. |
| 0,29 έως 0,20 | Πολύ δύσκολα (πιθανώς απαράδεκτα) στοιχεία: επανεξέταση του rpBis για κατάλληλη διάκριση. Μπορεί να χρειαστεί αναθεώρηση από τις ΜΜΕ. |
| 0,19 έως 0,00 | Μη αποδεκτά στοιχεία: Ακατάλληλα δύσκολα ή αλλιώς λανθασμένα. Πρέπει να σημαίνονται για απομάκρυνση ή αναθεώρηση από τις ΜΜΕ. |
Όταν ένα στοιχείο διαπιστωθεί ότι είναι περιθωριακό, οι προγραμματιστές εξετάζουν το rpBis του στοιχείου. Αν το rpBis είναι υψηλό, δίνεται μεγαλύτερη ανοχή για να διατηρηθεί αυτό το στοιχείο στην εξέταση.
Τιμές στόχου για δείκτες διάκρισης στοιχείων
| rpBis = 0,20 έως 1,00 |
|---|
Το σημείο Biserial (rpBis) χρησιμοποιείται από τους Prometric psychometricians για να καθορίσει τη δύναμη διάκρισης κάθε στοιχείου. Όπως και άλλες κλασσικές στατιστικές, η χρήση του rpBis δεν είναι μια ακριβής επιστήμη. Σε ορισμένες περιπτώσεις, χαμηλές τιμές rpBis μπορούν να προκύψουν από ιδιαίτερα υψηλές ή χαμηλές τιμές ρ, χαμηλή διακύμανση στοιχείων λόγω μη εφαρμόσιμων διαταρακτών, διακύμανση χαμηλής βαθμολογίας λόγω ομοιογένειας υποψηφίων ή εξαιρετικά διαστρεβλωμένες κατανομές βαθμολόγησης. Ως εκ τούτου, οι προμετρικοί ψυχομετρητές πρέπει να λάβουν υπόψη αρκετά στατιστικά στοιχεία, καθώς ανασκοπούν αναλύσεις αντικειμένων. Ο Πίνακας 3 συνοψίζει τις κατευθυντήριες γραμμές που χρησιμοποιούν οι προγραμματιστές όταν εξετάζουν τη διάκριση των στοιχείων. Σημειώστε ότι αυτές οι οδηγίες υποθέτουν ότι το στοιχείο είναι κλειδωμένο σωστά και ότι το δείγμα των υποψηφίων είναι αρκετά μεγάλο.
|
RpBis (ισχυρό έως αδύναμο) |
Ερμηνεία στοιχείου |
|---|---|
|
1,00 έως 0,50 |
Πολύ ισχυρή (αποδεκτή) |
|
0,49 έως 0,30 |
Ισχυρή (αποδεκτή) |
|
0,29 έως 0,20 |
Αποδεκτή (αλλά μπορεί να χρειαστεί επανεξέταση) |
|
0,19 έως 0,10 |
Περιθωριακά (πιθανώς απαράδεκτα) αντικείμενα: Κείμενο ανασκόπησης και προσομοιώσεις προσοχής. |
| 0,09 έως 0,00 | Αδύνατα (απαράδεκτα) στοιχεία: οι τιμές p είναι πιθανώς πολύ υψηλές. Σημαία για απομάκρυνση ή αναθεώρηση από τις ΜΜΕ. |
| -0.01 έως -0.20 |
Μη αποδεκτά αντικείμενα: ακατάλληλα για δυσκολία ή με άλλο τρόπο λανθασμένα. Πρέπει να σημαίνονται για απομάκρυνση ή αναθεώρηση από τις ΜΜΕ. |
Ο Πίνακας 4 απαριθμεί τις ερμηνείες που χρησιμοποιούνται από την ψυχομετρική ομάδα για διάφορες περιοχές συντελεστών άλφα.
|
Αλφα |
Ερμηνεία εσωτερικής αξιοπιστίας συνάφειας |
|---|---|
|
Λιγότερο από 0,60 |
Μη αποδεκτοί συντελεστές που απαιτούν νέες μορφές |
|
0,60 έως 0,69 |
Κακή συντελεστές που απαιτούν αναθεώρηση ή αφαίρεση μορφής |
|
0,70 έως 0,79 |
Περιθωριακοί συντελεστές που ενδέχεται να απαιτούν αναθεώρηση / αναθεώρηση της μορφής |
|
0,80 έως 0,89 |
Καλοί συντελεστές |
|
0,90 ή παραπάνω |
Άριστοι συντελεστές |
Το εύρος στόχων για εκτιμήσεις της συνέπειας ή αξιοπιστίας της απόφασης Pass / Fail
|
r = 0,80 ή υψηλότερη |
|---|
Η Prometric επέλεξε τη μέθοδο απώλειας τετραγωνικών σφαλμάτων του Livingston για τον υπολογισμό της αξιοπιστίας της συνέπειας της απόφασης. Αυτή η μέθοδος επιλέχθηκε επειδή μπορεί να ερμηνευτεί όπως και άλλα μέτρα αξιοπιστίας (που αναφέρονται παραπάνω). Είναι πολύ λιγότερο πολύπλοκο από τις μεθόδους απώλειας κατωφλίου και μπορεί να χρησιμοποιηθεί για όλες τις μορφές απλής διαχείρισης. Η χρήση αυτής της στατιστικής είναι σύμφωνη με το Πρότυπο 2.3 για τα Πρότυπα Εκπαιδευτικών και Ψυχολογικών Δοκιμών, σ. 20.
Προμετρικές Συστάσεις - Στοιχεία Τραπεζών
Τα εσωτερικά πρότυπα της Prometric και οι συστάσεις πελατών για τις τράπεζες στοιχείων σημειώνονται στον Πίνακα 1 παρακάτω.
|
Επίπεδο συστάσεων |
Εύρος |
|---|---|
|
1. Ελάχιστο εύρος στόχων |
1,5 έως 2 φορές τον αριθμό των αντικειμένων ανά φόρμα |
|
2. Εύρος αποδεκτών στόχων |
2 έως 3 φορές τον αριθμό των αντικειμένων ανά φόρμα |
|
3. Βέλτιστο εύρος στόχων |
3 έως 5 φορές τον αριθμό των αντικειμένων ανά φόρμα |
Επιστροφή στη σελίδα Δοκιμαστική απόδοση και Νομική ευπάθεια