Strona główna > testy organizacyjne, testy zawodowe > Jak kompetentnie zmierzyć kompetencje?

Jak kompetentnie zmierzyć kompetencje?

Autorzy: Paweł Jurek, Joanna Kolenda

Przy obecnym poziomie świadomości specjalistów do spraw zarządzania zasobami ludzkimi pytanie: „Po co badać kompetencje”? wydaje się pytaniem retorycznym. Z potrzebą pomiaru poziomu kompetencji spotykamy się we wszystkich kluczowych procesach HRM –rekrutacji,  selekcji, podczas oceny okresowej pracowników, w celu analizy potrzeb rozwojowych, optymalizacji ścieżek kariery, czy podczas ewaluacji szkoleń. Zróżnicowane potrzeby przekładają się na konieczność poszukiwań i zastosowania wiarygodnych, ale przede wszystkim praktycznych narzędzi służącym każdej z nich.

Ostatnie lata w HRM to czas weryfikacji wielu metod, z których tylko nieliczne  zyskały miano popularnych, sprawdzonych, czy też użytecznych. Assessment i Development Center oraz ocena w miejscu pracy metodą 180 i 360 stopni stały się praktycznie standardem, jednak ich pewne ograniczenie stanowi fakt, że w obydwu kategoriach metod niezbędna jest obserwacja zachowań osoby badanej. Często jednak zdarza się, że informacja na temat poziomu posiadanych kompetencji jest potrzebna przy braku możliwości obserwacji zachowań czy to w warunkach wykonywania realnych zadań, czy w warunkach symulacyjnych. Wówczas pojawia się zapotrzebowanie na metody testowe w postaci papierowej lub komputerowej.

Dostępne na rynku, i uznane za profesjonalne, narzędzia charakteryzują się wieloma zaletami, choć – jak wszystko – mają także swoje ograniczenia. Warto jednak zaznaczyć, że wskazywane ograniczenia wynikają bardziej ze słabości samej metody, a nie konkretnego narzędzia.

Zagadnienie pomiaru kompetencji zawodowych

Kompetencje zawodowe najczęściej rozumiane są jako zdolność skutecznej realizacji zadań zawodowych i osiągania oczekiwanych wyników lub jako działanie zgodne z określonymi wzorcami zachowań (Whiddett, Hollyforde 2003). W pierwszym przypadku definicje poszczególnych kompetencji odnoszą się do określonych dyspozycji (cech, umiejętności, wiedzy), w drugim, do przejawianych konkretnych zachowań zapewniających sukces w pracy. W obu przypadkach pomiar kompetencji polega na obserwowaniu lub prognozowaniu zachowań stanowiących wskaźniki badanej kompetencji. Niestety obserwacja i ocena zachowania nie zawsze jest możliwa czy wręcz pożądana. W takich sytuacjach w sukurs idą nam testy, pozwalające na zdefiniowanie mniej bezpośrednich wskaźników kompetencji. Takim predykatorem będzie właśnie wynik uzyskany w teście, którego charakter jest uzależniony od rodzaju testu. Testy te dzielą się na dwie podstawie kategorie:

  1. Testy o charakterze deklaratywnym, polegającym na opisie samego siebie dokonywanym przez osoby badane, które nazywać będziemy kwestionariuszami oceny kompetencji.
  2. Testy wykonania, zawierające zadania o charakterze sprawnościowym, wymagającym rozwiązania konkretnego problemu, ćwiczenia itp, które nazywać będziemy testami kompetencyjnymi.

Obie grupy narzędzi wymagają wykonania badań standaryzacyjnych potwierdzających ich rzetelność oraz trafność. Metody te, niezależnie od wiarygodności psychometrycznej, odznaczają się właściwościami wpływającymi na praktykę ich zastosowania, którym będą poświęcone opisy przykładowych kwestionariuszy oraz testów.

Kwestionariusze oceny kompetencji / Pracowniku oceń się sam

Kwestionariusz Kompetencji Społecznych (KKS) autorstwa A. Matczak (2007) jest bez wątpienia najbardziej rozpowszechnionym na polskim rynku. Składa się na niego 90 pozycji, stanowiących bezokolicznikowe określenia różnych czynności. Badany ocenia na skali czterostopniowej efektywność, z jaką je wykonuje. 60 spośród nich (i tylko te uwzględnione są w kluczu), to czynności oznaczające radzenie sobie w różnego rodzaju sytuacjach społecznych, które mogą być uznane za sytuacje trudne. Oprócz wskaźnika ogólnego kwestionariusz dostarcza też trzech wskaźników szczegółowych, określających poziom kompetencji ujawnianych w sytuacjach ekspozycji społecznej, wymagających asertywności oraz bliskiego kontaktu interpersonalnego. KKS to narzędzie rzetelne, trafne i posiadające normy, a przez to pozwalające na wiarygodną interpretację wyników badania.

Innym narzędziem wykorzystywanym w diagnozie kompetencji jest kwestionariusz do oceny umiejętności kierowniczych skonstruowany przez Camerona (Management Skills Assessment Instrument – MSAI) (Cameron i Quinn, 2003). Jest on wykorzystywany w wielu organizacjach na całym świecie. Normy dla tego testu zostały opracowane na podstawie badań 40 tysięcy menedżerów. Do ustalenia jego trafności zostały wykorzystane oryginalne analizy statystyczne, mogące mieć także szersze zastosowanie, np. w obliczaniu wyników oceny kompetencji zawodowych.

Autorzy narzędzia zidentyfikowali cztery kategorie kompetencji menedżerskich wymagane w każdej z wyodrębnionych przez nich 4 kultur organizacyjnych:

1.    Klan: zarządzanie zespołami, relacjami międzyludzkimi oraz rozwojem pracowników;

2.    Hierarchia: zarządzanie asymilacją, systemami kontroli, koordynacją;

3.    Rynek: Zarządzanie konkurencyjnością, mobilizowanie pracowników oraz propagowanie postawy zorientowanej na klienta;

4.    Adhokracja: zarządzanie innowacjami, ciągłym doskonaleniem oraz nastawienie na przyszłość.

Kwestionariusz MSAI obejmuje 60 opisów zachowań, składających się na 12 wyodrębnionych kompetencji. Osoba oceniająca menadżera lub sam menedżer, określa na pięciostopniowej skali na ile dane stwierdzenie opisuje badaną osobę.

Tabela 1. Fragment kwestionariusza MSAI.

Lp Opis zachowania (stwierdzenie) Zdecydowanie tak Raczej tak I tak i nie Raczej nie Zdecydowanie nie
1 Okazuje wsparcie osobom dzielącym się ze mną swoimi problemami. 5 4 3 2 1
2 Zachęcam wszystkich członków swojej jednostki do przedstawiania nowych pomysłów i proponowania nowych metod pracy. 5 4 3 2 1
3 Motywuję i mobilizuję pracowników do lepszej pracy. 5 4 3 2 1
4 Pilnie śledzę jak pracuje moja jednostka. 5 4 3 2 1
5 Regularnie wspieram swoich podwładnych w doskonaleniu umiejętności w dziedzinie zarządzania i podnoszeniu kwalifikacji. 5 4 3 2 1
6 Wymagam od swoich podwładnych wytężonej pracy i wysokiej efektywności. 5 4 3 2 1
7 Ustalam ambitne cele, które dopingują podwładnych do uzyskiwania ponadprzeciętnych wyników. 5 4 3 2 1

Źródło: Cameron K.S., Quinn R.E., 2003. Kultura organizacyjna – diagnoza i zmiana, Oficyna Ekonomiczna, Kraków.

Wynik dla kompetencji to średnia z wszystkich pozycji zaliczonych do danej kategorii. Na podstawie wyników można również wskazać poziomy rozwoju każdej z czterech grup kompetencji odpowiadających konkretnej kulturze organizacyjnej. Kwestionariusz został skonstruowany z myślą o ocenie metodą 360 stopni, jednak może być stosowany także jako narzędzie samooceny kompetencji menedżera.

Testy kompetencyjne / Kompetencje przetestowane

Testy wykonania opierają się na wiedzy ukrytej (tacit knowledge), która – nabywana poprzez doświadczenie – ma charakter proceduralny oraz jest wykorzystywana w praktyce (Nęcka, 2003). Wiedza tego typu to nieodłączny komponent kompetencji, będący warunkiem pojawienia się zachowań, zapewniających sprawne wykonanie zadań. Konstrukcja testów do pomiaru tzw. inteligencji praktycznej została opracowana m.in. na potrzeby badań R. Sternberga i jego współpracowników, poświęconych kryteriom sukcesu zawodowego oficerów armii. Każde pytanie powstałego testu zawierało opis sytuacji „Jeśli A…” wraz z wieloma opcjami „…to X”; „…to Y”; „…Z, itd. Zadaniem osób badanych polegało na ocenie (na skali od 1 do 9), w jakim stopniu każda z przedstawionych możliwości stanowi dobre rozwiązanie problemu. Zestaw Testów Kompetencji Podstawowych (P. Jurek, J. Kolenda, A. Wiącek) pozwala diagnozować cztery grupy kompetencji (społeczne, poznawcze, organizacyjne i osobiste), rozumianych jako zakres działań/ zachowań o charakterze sprawnościowym, wpływających na skuteczność ogólnego funkcjonowania zadaniowego. Każda z tych grup kompetencji jest niezbędna do sprawnego wykonywania zadań zawodowych. Ich posiadanie na wysokim poziomie zapewnia efektywną pracę. Oczywiście każde stanowisko charakteryzuje się różnymi oczekiwaniami wobec poszczególnych kompetencji.

Tabela 2. Zestaw kompetencji podstawowych (niespecyficznych).

Kategoria Kompetencja Definicja
SPOŁECZNE Wywieranie wpływu Przekonywanie innych do prezentowanego stanowiska i nakłanianie do proponowanego kierunku działania.
Współdziałanie Nawiązywanie pracy w grupie na rzecz osiągnięcia wspólnych celów.
Komunikatywność Zapewnienie przepływu i wymiany informacji pomiędzy sobą oraz innymi 

.

POZNAWCZE Myślenie analityczne Szczegółowe badanie właściwości sytuacji z naciskiem na rozkład na części składowe.
Myślenie koncepcyjne Tworzenie ogólnych koncepcji oraz strategii działań z uwzględnieniem kompleksowej oceny sytuacji.
Innowacyjność Poszukiwanie nowych sposobów realizacji zadań oraz otwartość na stosowanie niestandardowych rozwiązań. Generowanie i wdrażanie pomysłów.
OSOBISTE Adaptacja do zmian Łatwość w dostosowaniu się do zmieniających się warunków sytuacji.
Dążenie do rezultatów Podejmowanie i podtrzymywanie działań ukierunkowanych na osiągnięcie założonych rezultatów.
Radzenie sobie ze stresem Funkcjonowanie w sytuacjach, którym towarzyszy obciążenie/ napięcie emocjonalne.
ORGANIZACYJNE Planowanie Ustalanie przebiegu działań z uwzględnieniem etapów, priorytetów i potrzebnych zasobów oraz określanie wskaźników ich realizacji.
Organizowanie Integrowanie działań w celu osiągnięcia zaplanowanych rezultatów.
Kontrolowanie Kontrolowanie zgodności przebiegu prac z wyznaczonym planem oraz oczekiwanymi rezultatami. 

 

Źródło: Opracowanie autorów testu na podstawie materiałów projektowych Altkom Akademia.

Każda z 4 grup kompetencji diagnozowana jest testem składającym się z 30 pytań. Poszczególne zagadnienia badające daną kompetencję, składają się z opisu problemu, sytuacji zadaniowej lub interpersonalnej oraz trzech możliwych rozwiązań, zachowań lub reakcji. Zadaniem osoby badanej jest ocenienie każdej z trzech możliwych opcji na 5-cio stopniowej skali gdzie: 1 oznacza, że opisane działanie w ogóle nie jest efektywne i nierekomendowane w danej sytuacji; zaś 5 oznacza, że opisane działanie jest bardzo efektywne i adekwatne w danej sytuacji zadaniowej.

Przykład pytania:

PYTANIE NR 1
Opis sytuacji Współpracownik szczegółowo przedstawia Ci pomysł na rozwiązanie problemu, którym się zajmujecie. Już po kilku zdaniach wydaje Ci się, że pomysł nie ma szans na powodzenie, ponieważ wcześniej testowałeś podobne rozwiązania. W tej sytuacji:
Możliwe rozwiązania/ zachowania Twoja ocena możliwych rozwiązań/ zachowań
Opcja 1 pozwalasz koledze dokończyć wypowiedź, po czym dzielisz się swoimi doświadczeniami na temat proponowanego przez niego rozwiązania. 1 2 3 4 5
Opcja 2 pozwalasz koledze dokończyć wypowiedź i zadajesz kilka pytań na temat rozwiązania, tak aby ocenić, czy faktycznie mówi o rozwiązaniach, które wcześniej się już nie sprawdziły. 1 2 3 4 5
Opcja 3 przerywasz koledze, informując go, że rozumiesz proponowane przez niego rozwiązania i wyjaśniasz dlaczego rozwiązania te nie mają zastosowania w przypadku problemu, którym się zajmujecie. 1 2 3 4 5

Źródło: Opracowanie własne.

Każda z trzech możliwych opcji posiada również klucz, tzn. ocenę jej efektywności przez ekspertów. O wysokości wyniku odpowiedzi na dane pytanie decyduje różnica pomiędzy odpowiedziami osoby badanej a opiniami ekspertów.

Ze względu na właściwości narzędzia przekładające się na praktykę jego zastosowania, warto wyróżnić także testy przeznaczone dla konkretnych grup osób badanych. Na rynku są dostępne testy, których rolą jest diagnoza poziomu kompetencji specjalistycznych, często postrzeganych jako warunkujących efektywne działanie w ramach zadań na konkretnym stanowisku. Za przykład posłużyć może bateria testów umiejętności SHL.

Test na menedżera

Jednym z przykładów testów umiejętności SHL jest Zaawansowana Seria Menedżerska  (ang. Advanced Managerial Tests, AMT), która została stworzona na potrzeby organizacji poszukujących nowoczesnego narzędzia badającego umiejętności werbalne i numeryczne u swoich menedżerów wyższego szczebla i kandydatów na stanowiska menedżerskie. Testy stworzono w taki sposób, aby odpowiadały wymaganiom biznesu, podejmując jednocześnie tematykę zawodową. W skład serii wchodzą 3 testy umiejętności:

1. Analiza Informacji Słownych (VMT3) – bada umiejętność rozumienia, oceny, wnioskowania, logicznego myślenia oraz podsumowywania na podstawie informacji tekstowych. Zadanie osoby badanej polega przeczytaniu krótkiego tekstu oraz ocenie kilku stwierdzeń na jego podstawie (czy są z nimi zgodne, czy nie, czy też jest zbyt mało informacji, aby jednoznacznie to osądzić).

Przykład pytania (Analiza Informacji Słownych VMT3)

Instrukcja: 

Odpowiedz na pytania na podstawie informacji lub opinii znajdują­cych się w zaprezento­wanym tekście. Należy wybrać jedną lub większą liczbę najwła­ściwszych odpowiedzi z tych, które zostały za­proponowane. Gdy py­tania wymagają wyboru większej liczby popraw­nych odpowiedzi niż jed­na, wyraźnie wskazano liczbę wymaganych od­powiedzi. Poprawną odpowiedź lub odpowiedzi wskaż zaczer­niając odpowiednie kółka A,B,C,D lub E.

Tekst:

W zarządzaniu finansami przedsiębiorstwa wyróżnia się wiele potrzeb krótkoterminowych, ale także niektóre z długoterminowych zaspokajanych jest przez zaciąganie pożyczek w bankach i innych instytucjach finansowych. Tak dzieje się w przypadku ogromnych spółek i małych przedsiębiorstw. W istocie, udzielanie pożyczek dla handlu i przemysłu jest jednym z głównych elementów działania systemu bankowego. Chociaż takie pożyczki nie wymagają komentarza, poza tym, że zaciąganie pożyczek krótkoterminowych jest zwykle kosztownym rozwiązaniem dla firm i dlatego preferują one długoterminowe metody pozyskiwania środków.

Pytanie:

1 Który (jeden) z następujących typów organizacji – według tekstu – często zaciąga pożyczki bankowe?

A. Sektor państwowy.

B. Instytucje finansowe.

C. Przemysł.

D. Sektor prywatny.

E. Organizacje zagraniczne.

 

Źródło: SHL Polska Sp. z o.o.

2.    Ocena Danych Liczbowych (NMT2, NMT4) ocenia umiejętności rozwiązywania problemów liczbowych w oparciu o różnorodne wskaźniki finansowe i sprzedażowe firmy.  Zadanie osoby badanej polega na rozwiązaniu zadań, przy użyciu danych liczbowych.

Wymienione testy stosuje się do badania kandydatów z wyższym wykształceniem na stanowiska menedżerskie. Przy rekrutacji i selekcji absolwentów szkół wyższych oraz oceny i rozwoju pracowników (w tym menedżerów różnych szczebli), wykorzystywana jest seria testów Management and Graduate Item Bank (MGIB).

Kompetentny sprzedawca

Innym testem, sprofilowanym pod kątem konkretnego stanowiska, jest seria Kontakt z Klientem (ang. Customer Contact, CC), która obejmuje narzędzia stosowane dla celów rekrutacji lub rozwoju pracowników z działów sprzedaży i usług (przedstawiciele handlowi, dostawcy, personel związany z bezpośrednią obsługą klienta). Testy przeznaczone są do badania zdolności i umiejętności w zakresie oceny informacji słownych oraz analizowania i wnioskowania na podstawie danych liczbowych.

W skład Serii Customer Contact wchodzą 4 testy umiejętności:

1. Interpretacja Informacji Słownych (VCC1, VCC3) – badają zdolności logicznej oceny różnych rodzajów argumentów przedstawionych w formie pisemnej

2.    Interpretacja Danych Liczbowych (NCC2, NCC4) – badają zdolności posługiwania się liczbami w praktycznym i realnym kontekście zawodowym

Przykład pytania (Ocena Danych Liczbowych)

Instrukcja: 

W tym teście należy wykorzystać informacje liczbowe przedstawione w tabelach. Wybierz jedną z pięciu odpowiedzi na każde pytanie (tylko jedna jest prawidłowa). Możesz używać kalkulatora.

Tabela:

Sprzedaż produktów (dochody ze sprzedaży w tys. zł)

Kod produktu Europa Ameryka Pn.
Rok poprzedni Rok bieżący Rok poprzedni Rok bieżący
A002 17 34 140 354
B008 269 56 18 59
C015 21 69 27 71
D024 37 67 13 50
E001 31 32 19 37
F073 36 16 29 19

Pytanie:

1. Który z poniższych produktów wykazał najwyższy procen­towy wzrost dochodu ze sprzedaży w bieżącym roku w porównaniu do poprzedniego

A                     B                     C                     D                     E

B008                D024                E001                C015                F073

Europa                         Ameryka Pn      Europa                         Ameryka Pn      Europa

 

Źródło: SHL Polska Sp. z o.o.

Sposób na informatyka

Często zdarza się, że niemało problemów osobom z działów HR nastręcza proces rekrutacji osób na stanowiska z obszaru nowych technologii czy księgowości, wymagający specjalistycznej wiedzy oraz umiejętności. Z pomocą przychodzi jednak Seria informatyczna  (ang. Information Technology Test Series, ITTS), przeznaczona o badania umiejętności osób, które pracują na stanowiskach z obszaru technologii informatycznej, jak również księgowości, kontrolingu i wprowadzania danych. W skład Serii Informatycznej wchodzą 2 testy umiejętności:

1.    Dokładność Spostrzegania (CIT3) – mierzy tempo i dokładność sprawdzania ciągów znaków złożonych z liter, cyfr i symboli

2.    Rozumienie Diagramów (DIT6) – mierzy umiejętność wnioskowania na podstawie zestawu zasad przedstawionych na diagramach oraz stosowania tych zasad
w nowych sytuacjach

Plusy i minusy, czyli podsumowanie

Obydwie kategorie narzędzi- kwestionariusze oceny kompetencji oraz testy kompetencyjne  mają swoje zalety, ale także i ograniczenia. Sensowność stosowania kwestionariuszy oceny kompetencji jest najczęściej podważana ze względu  na trafność fasadową, czyli stopień, w jakim osoby badane danym testem mogą się domyślać, co on ma mierzyć. Zbyt wysoka trafność fasadowa skutkuje manipulacją wyników przez osoby badane, zwłaszcza jeśli nie ma żadnej skali kłamstwa lub aprobaty społecznej. Dostrzegalną wadą jest także deklaratywna forma wypełniania testu. Obydwa zarzuty powodują, że wartość ich stosowania w procesie rekrutacji i selekcji jest znikoma. Nie powoduje to jednak, że testy te są rzadziej w tych procesach stosowane. Ich podstawową zaletą jest bowiem dobra podstawa teoretyczna, jak w przypadku KKS, a także szczegółowość, nieograniczająca jednak uniwersalności ich zastosowania. Narzędzia te zasadniczo ułatwiają przypisywanie poszczególnych zachowań do poziomów, co minimalizuje możliwość wystąpienia błędu tendencji centralnej. Zarówno pierwszy, jak i drugi zarzut znika w sytuacji, kiedy osobie badanej zależy na uzyskaniu prawdziwej oceny swoich mocnych i słabych stron. Wówczas poziom szczerości udzielanych odpowiedzi znacząco wzrasta, a to powoduje, że uzyskane wyniki stanowią rzetelne źródło wiedzy. Z tego powodu, największą wartość kwestionariuszy kompetencji odnotować można w odniesieniu do działań doradczych oraz rozwojowych.

Inną zaletą testów kompetencyjnych jest ilość obszarów HRM, w których można je stosować. Mają one swoje zastosowanie przede wszystkim w sytuacjach, w których potrzebne są informacje na temat kompetencji wielu osób w ograniczonym czasie, np. w przypadku wstępnej selekcji kandydatów. Zdecydowaną zaletą tej metody jest także fakt, że wypełnienie testu – szczególnie w warunkach grupowych – nie wymaga dużego zaangażowania osób przeprowadzających badanie kompetencji. Z racji tego, że testy kompetencyjne odnoszą się do pomiaru wiedzy, z powodzeniem mogą również być wykorzystywane w ocenie efektywności szkoleń oraz w procesie diagnozy potrzeb rozwojowych. W tym celu uczestnicy zaplanowanego i przeprowadzonego szkolenia dwukrotnie zostają poddani badaniu testem kompetencyjnym, a następnie oba wyniki zostają poddane analizie mającej na celu stwierdzenie, czy pod wpływem szkolenia dało się odnotować istotne zmiany. Jako dodatkowe źródło informacji test kompetencyjny może także sprawdzić się jako narzędzie wspierające indywidualną ocenę pracownika. Należy jednak pamiętać, iż test kompetencyjny w roli testu sprawnościowego jest zazwyczaj subiektywnie odbierany przez osoby badane jako trudniejszy. Przez to jest on postrzegany jako faktycznie badający kompetencje, nie tylko zaś deklaracje, co powoduje, że wdrożenie działań rozwojowych jest łatwiejsze.

Testy kompetencyjne wymagają pracochłonnego i wieloetapowego procesu przygotowań. Proces ten angażuje wielu ekspertów, co zasadniczo podwyższa koszty oraz poziom skomplikowania całego procesu twórczego. Konstrukcja testu zakłada opis zadania, które  podobnie, jak w rzeczywistości, –  może wymagać wielu kompetencji. Stąd ustalenie trafności i rzetelności poszczególnych zadań testowych jest niezwykle trudne i wymaga prawdziwie eksperckiej wiedzy.

Literatura cytowana

Whiddett S., Hollyforde S. (2003). Modele kompetencyjne w zarządzaniu zasobami ludzkimi, Kraków: Oficyna Ekonomiczna.

Nęcka E. (2003). Inteligencja, Geneza – Struktura – Funkcje, Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

Cameron K.S., Quinn R.E. (2003). Kultura organizacyjna – diagnoza i zmiana, Kraków: Oficyna Ekonomiczna.

Matczak A. (2007). Kwestionariusz Kompetencji Społecznych, wyd. 2, Warszawa: Pracownia Testów Psychologicznych.

  1. Brak komentarzy.
  1. No trackbacks yet.

Skomentuj

Wprowadź swoje dane lub kliknij jedną z tych ikon, aby się zalogować:

Logo WordPress.com

Komentujesz korzystając z konta WordPress.com. Log Out / Zmień )

Zdjęcie z Twittera

Komentujesz korzystając z konta Twitter. Log Out / Zmień )

Facebook photo

Komentujesz korzystając z konta Facebook. Log Out / Zmień )

Google+ photo

Komentujesz korzystając z konta Google+. Log Out / Zmień )

Connecting to %s

%d bloggers like this: