Wprowadzenie do najlepszych praktyk

ANALIZA PRACY ZDEFINIOWANA

Termin analiza pracy odnosi się do procedur zaprojektowanych w celu uzyskania opisowych informacji o zadaniach wykonywanych przez specjalistów i / lub wiedzy, umiejętności lub umiejętności, które są niezbędne do właściwego wykonywania tych zadań. Mówiąc prościej, Brannick i Levine (2002) 1 odnoszą się do analizy pracy jako „odkrywania, rozumienia i opisywania tego, co ludzie robią w pracy” (s. 1). Konkretny rodzaj informacji gromadzonych w celu analizy pracy zależy od celu, w jakim informacje zostaną wykorzystane.

Alternatywne nazwy do analizy pracy obejmują analizę zadania, określenie roli, badanie kompetencji, analizę praktyki, badanie roli i funkcji oraz badanie wiedzy.

ANALIZA PRACY CEL

Analiza pracy dostarcza dowodów na ważność testów związanych z zatrudnieniem, takich jak te używane do zatrudniania lub awansowania pracowników lub udzielania licencji lub certyfikacji. Analiza pracy może być również wykonana w celu:

  • zdefiniuj domenę pracy
  • napisz opis stanowiska
  • utwórz przewodnik dla przeglądów wydajności
  • wspierać kryteria wyboru i / lub promocji
  • ocenić potrzeby szkoleniowe
  • ustalić wynagrodzenie
  • opracować kryteria uwierzytelnienia
  • zaplanować wymagania organizacyjne

Analiza pracy jest przeprowadzana zgodnie z The Standards for Educational and Psychological Testing (1999) ( The Standards ), kompleksowym przewodnikiem technicznym, który zawiera kryteria oceny testów, praktyk testowania i efektów użycia testów. Został opracowany wspólnie przez American Psychological Association (APA), American Educational Research Association (AERA) i National Council on Measurement in Education (NCME). Wytyczne przedstawione w Normach , w drodze profesjonalnego konsensusu, mają na celu zdefiniowanie niezbędnych elementów badania jakości. W konsekwencji program testowy, który jest zgodny ze Standardami, jest bardziej prawdopodobne, że zostanie uznany za ważny i możliwy do obrony niż ten, który tego nie robi.

Zgodnie z normą 14.14

„Dziedzina treści, która ma być objęta testem uwierzytelniającym, powinna być jasno zdefiniowana i uzasadniona pod względem znaczenia treści dla wiarygodnego wykonania w zawodzie lub zawodzie. Należy przedstawić uzasadnienie na poparcie twierdzenia, że wiedza lub umiejętności podlegające ocenie są wymagane do uzyskania wiarygodnego wykonania w zawodzie i są zgodne z celem, dla którego ustanowiono program licencjonowania lub licencjonowania… Pewna forma pracy lub analiza pracy stanowi podstawową podstawę do zdefiniowania dziedziny treści… ”(str. 161 ) 2

METODY ANALIZY PRACY

Do wykonania analizy pracy wykorzystywane są różnorodne metody: obserwacja, wywiady, przegląd literatury, grupy fokusowe, wywiady krytyczne i ankieta. Poniżej znajdują się opisy tych procesów.

OBSERWACJA: Wyszkolony specjalista od analizy pracy obserwuje praktykę w różnych ustawieniach pracy. Zachowania są rejestrowane, a częstotliwość zadań analizowana.

WYWIADY: Pracownicy obecni w pracy są przesłuchiwani na temat tego, co robią. Mogą być również zapytani o to, co powinni wiedzieć, aby wykonać zadania. Ten widok może dostarczyć cennych informacji na temat praktyki zawodowej, których nie można odpowiednio uzyskać poprzez walne zgromadzenia i wywiady (np. Grupy fokusowe).

PRZEGLĄD LITERATURY: czasopisma naukowe, czasopisma branżowe i inne powiązane materiały są recenzowane. Wcześniej prowadzone analizy pracy są badane. Przykład źródła informacji o zawodach można znaleźć w międzynarodowej bazie danych dostępnej w Internecie. „Międzynarodowa Standardowa Klasyfikacja Zawodów (ISCO) to narzędzie do organizowania pracy w jasno określony zestaw grup zgodnie z zadaniami i obowiązkami podjętymi w pracy.” 3 ISCO jest prowadzony przez Międzynarodową Organizację Pracy, wyspecjalizowaną agencję Narody Zjednoczone.

GRUPY KONCENTRACYJNE: Prometric używa grup fokusowych, które wykorzystują serię pytań, Uczestnicy udzielają odpowiedzi opisujących, co robią i co powinni wiedzieć, aby wykonywać swoją pracę. Ta technika badawcza szczególnie dobrze nadaje się do zbierania informacji o nowych praktykach - szczególnie tych, które mogą mieć wpływ na zawód w nadchodzących latach. Takie podejście jest często stosowane w sytuacjach, w których populacja, która ma być poświadczona, jest niewielka, na przykład w firmie oczekującej zatrudnienia jednej lub dwóch osób na stanowisko lub w jednostce certyfikującej z ograniczonym członkostwem.

WYWIADY Z KRYTYCZNYMI INCYDENTAMI: Głównym celem wywiadu dotyczącego incydentu krytycznego jest opis problemów związanych z pracą i sposobu ich rozwiązania. Struktura wywiadów dotyczących incydentów krytycznych wymagała od specjalistów refleksji nad zachowaniami uznawanymi za krytyczne w zawodzie i działaniach osób, które nadzorowali w celu wypełnienia swoich obowiązków. Przewodnik wywiadu jest często przekazywany rozmówcy przed wywiadem i jego odpowiedziami. Analizowane są typowe i unikalne rozwiązania dostarczane przez rozmówców.

ANKIETA: Opracowanie ankiety analizy pracy jest procesem iteracyjnym. Badanie dostarcza informacji ilościowych i jakościowych od dużej liczby osób. Korzystanie z ankiet umożliwia organizacjom poświadczającym powiązanie ocen z danym stanowiskiem i jest zalecanym podejściem w przypadku standardowych ocen dla danego zawodu. Wyniki ankiety z odpowiedziami ekspertów w tej dziedzinie również zwiększają ważność treści ankiety.

ROZWÓJ ANKIETY

Poniżej znajdują się zalecane etapy opracowywania ankiet i analizy wyników.

DZIAŁALNOŚĆ 1. OPRACOWAĆ WSTĘPNY WYKAZ ELEMENTÓW ANKIETY
W zależności od przedmiotu ankiety, pytania podstawowe (demograficzne), zadania, oświadczenia wiedzy i / lub inne komponenty są opracowywane z wykorzystaniem wcześniejszych analiz stanowisk, opublikowanej literatury i / lub wiedzy merytorycznej.

DZIAŁALNOŚĆ 2. SPOTKANIE SIŁY ZADANIAMI
Komitet zadaniowy, składający się zwykle z 12–15 ekspertów merytorycznych reprezentujących zawód (np. Region geograficzny; środowisko pracy; lata doświadczenia) jest zwoływany na kilkudniowe osobiste spotkanie w celu przeglądu i przeglądu wstępnego lista elementów ankiety.

DZIAŁANIE 3. KONSTRUKCJA PROJEKT ANALIZA PRACY BADANIE I PROWADZENIE BADANIE PILOTAŻOWE
Po spotkaniu grupy zadaniowej tworzona jest wstępna wersja ankiety. Ankieta zazwyczaj składa się z następujących sekcji:

  1. Informacje podstawowe (pytania demograficzne)
  2. Zadania
  3. Wiedza / umiejętności
  4. Zalecenia dotyczące wag zawartości testowej
  5. Napisz uwagi

Bardzo ważne jest, aby ankieta (y) były jasno sformułowane i wyczerpujące pod względem treści. Zapewnia to, że pytania / treść ankiety i wyniki mogą być w znaczący sposób interpretowane. Ponadto ważne jest, aby ankiety mogły być wypełnione w realistycznych ramach czasowych, zapobiegając w ten sposób „wypaleniu ankiet”. W wyniku przeprowadzania przeglądów zapewniania jakości dobrze zaprojektowane badanie może promować wysokie wskaźniki odpowiedzi. Te oceny jakości są wymienione poniżej w porządku chronologicznym.

  • Przegląd grupy zadaniowej: Projekt ankiety jest wysyłany pocztą elektroniczną do komitetów grupy zadaniowej w celu przeglądu i komentarza. Komentarze zwykle obejmują: 1) sugerowane uzupełnienia, usunięcia lub wyjaśnienie zadań i wiedzy; 2) proponowane zmiany instrukcji ankiety i skal ratingowych; oraz 3) zmiany w kwestionariuszu informacyjnym i pytania w komentarzach pisemnych. Prowadzona jest konferencja internetowa z udziałem członków grupy zadaniowej w celu omówienia komentarzy. Sugerowane zmiany są odpowiednio uwzględniane w instrumencie ankietowym.
  • Test pilotażowy: niewielki test pilotażowy ankiety przeprowadzany jest z małą grupą ekspertów merytorycznych, którzy wcześniej nie byli zaangażowani w tworzenie ankiety. Celem testu pilotażowego jest ustalenie, czy treść ankiety jest jasno napisana i wyczerpująca. Pozwala także badaczom na ankietę na zebranie i określenie czasu zakończenia ankiety. Prowadzona jest konferencja internetowa z udziałem członków grupy zadaniowej w celu omówienia uwag uczestników pilotażowych.

DZIAŁALNOŚĆ 4. BADANIE ADMINISTRATORA
Ankieta jest przeprowadzana dla reprezentatywnej grupy uczestników o wystarczającej wielkości, aby upewnić się, że wyniki analizy pracy są prawidłowe. Krytyczne podgrupy (np. Region geograficzny; otoczenie pracy; lata doświadczenia) są monitorowane podczas administrowania ankietą w celu określenia możliwości przeprowadzenia osobnych analiz danych.

Strategie zwiększania ankiety lub wskaźnika odpowiedzi krytycznych podgrup obejmują publikowanie artykułów / powiadomień na stronach internetowych i / lub odpowiednich mediów drukowanych / internetowych (czasopisma, biuletyny, czasopisma) lub oferowanie zachęt (np. Jednostki kształcenia ustawicznego, bony prezentowe) .

Po zaproszeniu do udziału z adresem URL ankiety następują co najmniej dwa przypomnienia.

AKTYWNOŚĆ 5. WYKONAJ ANALIZĘ DANYCH
Na zakończenie badania określa się odpowiednie i rozsądne analizy, które należy przeprowadzić na podstawie liczby odpowiedzi. Ogólnie rzecz biorąc, analizy te obejmują:

  • Statystyka opisowa (rozkład częstotliwości) na tle (demograficznych) informacji dostarczonych przez respondentów.
  • Statystyki opisowe (średnie, odchylenia standardowe i / lub rozkłady częstotliwości) dla każdego z elementów ankiety, takie jak zadania lub zestawienia wiedzy dla całej grupy i, w stosownych przypadkach, ważnych podgrup.
  • Wskaźniki zgodności i / lub analizy wariancji (ANOVA), odpowiednio, w zależności od elementów ankiety i liczby odpowiedzi.

WAGI OCENY

Jak wspomniano, głównym celem ankiety jest potwierdzenie ważnych zadań i wiedzy / umiejętności do wykonywania pracy na akceptowanym poziomie. Jednak inne skale mogą być stosowane w badaniach ankietowych, w zależności od celu analizy pracy.

ZNACZENIE
Ważna jest podstawowa skala ustalania ważności treści. Poniżej znajdują się typowe skale ocen stosowane do ważności zadań oraz wiedzy / umiejętności.

ZADANIA
Jak ważne jest wykonanie zadania na obecnym stanowisku?
Opcje odpowiedzi: 0 = bez znaczenia; 1 = mało ważne; 2 = o średnim znaczeniu; 3 = ważne; 4 = bardzo ważne

WIEDZA / UMIEJĘTNOŚCI
Jak ważna jest wiedza / umiejętności na twoim obecnym stanowisku?
Opcje odpowiedzi: 0 = bez znaczenia; 1 = mało ważne; 2 = o średnim znaczeniu; 3 = ważne; 4 = bardzo ważne

WYDAJNOŚĆ
Czasami przydatne jest uzyskanie informacji zarówno od obecnych w terenie, jak i od ich przełożonych. W tej sytuacji przydatne jest zidentyfikowanie zadań wykonywanych przez operatorów zasiedziałych i tych, które są częścią roli przełożonego.

ZADANIA
Wskaż, czy wykonujesz zadanie, czy nadzorujesz je / zarządzasz nim. Opcje odpowiedzi: 0 = Nie wykonuj ani nie nadzoruj / nie zarządzaj zadaniem; 1 = Wykonaj zadanie; 2 = Nadzoruj / zarządzaj zadaniem; 3 = Wykonuj i nadzoruj / zarządzaj zadaniem

PUNKT NABYCIA
Oprócz ocen ważności przydatne jest określenie, kiedy wiedza / umiejętności są nabywane.

WIEDZA / UMIEJĘTNOŚCI
Kiedy po raz pierwszy nabyłeś wiedzę / umiejętności?
Opcje odpowiedzi: 0 = Nie miałem kontaktu z tą wiedzą / umiejętnościami; 1 = Podczas mojego programu studiów licencjackich; 2 = Podczas mojego programu studiów podyplomowych; 3 = Podczas pierwszego roku pracy; 4 = Podczas drugiego do trzeciego roku pracy; 5 = Po trzecim roku pracy

Odpowiedzi na punkt akwizycji są dostosowane do środowiska uczenia się populacji objętej badaniem. Poniżej znajduje się przykład innego zestawu odpowiedzi.

Kiedy tę wiedzę / umiejętności należy przede wszystkim zdobyć lub zdobyć?
Opcje odpowiedzi: 0 = wcale nie wymagane; 1 = w programie studiów licencjackich; 2 = Podczas uznanego programu treningowego; 3 = Na szkoleniu w miejscu pracy przed certyfikacją; 4 = W trakcie szkolenia po certyfikacie w miejscu pracy; 5 = W programie kształcenia ustawicznego po certyfikacji

Aby ocenić odpowiedzi z ankiety, należy ustalić kryteria włączenia lub wyłączenia zadań i / lub wiedzy / umiejętności.

KRYTERIUM INTERPRETACJI OZNACZONYCH WSPÓŁCZYNNIKÓW WAŻNOŚCI
Ponieważ głównym celem ankiety jest zagwarantowanie, że przy opracowywaniu specyfikacji testu uwzględnione zostaną tylko zatwierdzone zadania i wiedza / umiejętności, należy ustanowić kryterium (punkt odcięcia) dla włączenia.

Najczęściej stosowanym kryterium jest średnia ocena ważności, która reprezentuje punkt środkowy między umiarkowanie ważnym a ważnym. Dla skali oceny ważności stosowanej w wielu badaniach wartość tego kryterium wynosi 2,50. Jak zauważono powyżej, skala ważności waha się od 0 = bez znaczenia do 4 = bardzo ważna. To kryterium jest zgodne z intencją ważności treści, która polega na mierzeniu tylko ważnych zadań lub wiedzy / umiejętności podczas egzaminu poświadczającego.

Definicja kategorii pozytywnych, granicznych i negatywnych dla zadań i średnich ocen wiedzy

Znaczy
Przechodzić 2,50 lub więcej
Pogranicze Od 2,40 do 2,49
Zawieść Mniej niż 2,40

Odpowiedzi ankietowe są wykorzystywane przez komisję do formułowania świadomych zaleceń dotyczących treści egzaminacyjnych. Przedstawione są następujące dane: Głównym celem wielu analiz stanowisk jest dostarczenie dowodów ważności do tworzenia testów związanych z zatrudnieniem, takich jak te wykorzystywane do zatrudniania lub awansowania pracowników, lub udzielania licencji lub certyfikacji. Aby ułatwić tworzenie tych badań, należy utworzyć specyfikacje testów (zwane również specyfikacjami egzaminów, plan egzaminu lub zarys testu). W celu ustalenia specyfikacji wyniki badania analizy pracy są przedstawiane komitetowi złożonemu z 12–15 ekspertów merytorycznych reprezentujących dany zawód (np. Region geograficzny; środowisko pracy; lata doświadczenia). W skład komitetu powinna wchodzić część członków grupy zadaniowej i nowych ekspertów merytorycznych. SPECYFIKACJE TESTOWE

  • Odpowiedzi na pytania zawarte w ankiecie informacyjnej
  • Oceny dla skal zadań i wiedzy / umiejętności
  • Komentarze na piśmie do ankiety

Komitet zaleca ważenie treści (procent pozycji) do badania. Po przejrzeniu danych komitetu i ankiety określane są optymalne wagi procentowe dla każdej domeny. Wagi zawartości testu mogą być wykorzystane do ukierunkowania dalszych działań związanych z opracowywaniem egzaminów, w tym pisania przedmiotów i montażu egzaminów.

PODSUMOWANIE

Analiza pracy wykorzystuje podejście oparte na wielu metodach, aby zidentyfikować zadania potrzebne do wykonania pracy oraz wiedzę / umiejętności potrzebne do wykonania tych zadań. Dzięki tym badaniom organizacja zyskuje aktualne spojrzenie na role i obowiązki zawodu oparte na badaniach empirycznych, aby zapewnić, że inicjatywy organizacyjne będą nadal dostosowane do ważnych bieżących, powstających i przyszłych praktyk. Informacje te stanowią również podstawę do badań psychometrycznych i prawnie uzasadnionych badań.

1 Brannick, MT i Levine, EL (2002). Analiza pracy: metody, badania i aplikacje do zarządzania zasobami ludzkimi w nowym tysiącleciu. Thousand Oaks: Sage.2 American Educational Research Association, American Psychological Association, National Council on Measurement in Education. (1999). Standardy testów edukacyjnych i psychologicznych. Waszyngton, DC: American Psychological Association.3 http://www.ilo.org/public/english/bureau/stat/isco/index.htm. Pobrano 12 lutego 2008 r.

Wróć do strony Wydajność testu i legalność