Personnel analysis and its reliability

Abstract

Tässä tutkimuksessa selvitetään rekrytointi- ja henkilöarviointiyritys MindFit Consulting Oy:n työnhakijoista tekemien henkilöanalyysiraporttien, MindFitin henkilöanalyysien, luotettavuutta. Tarkoitus on tutkia, kuinka yhdenmukaisesti analyysien lukijat ymmärtävät analyysien sisällön. Tutkimuksessa luodaan kyselylomake, jonka avulla eri analyysiraportin lukijat pisteyttävät analyysien sisällön. Lukijoiden antamien pisteiden yhdenmukaisuus mitataan analyysien luotettavuuden (inter-rater reliability) selvittämiseksi. Tutkittavat henkilöanalyysit ovat sanallisia raportteja työnhakijoista. Käytännössä analyysiteksti operationalisoidaan kriteereiksi, jotka voidaan pisteyttää numeerisesti kyselylomakkeella. Tutkimuksessa selvitetään käytännöllisten ja henkilöominaisuuksiin pohjautuvien kompetenssien arvioinnin eroon liittyvää hypoteesia saatujen tuloksien ja kirjallisuuden pohjalta. Intraclass Correlation Coefficient -testi kertoo merkittävästä yhdenmukaisuudesta eri analyysien pisteyttäjien kesken, erityisesti käytännön kompetenssien kohdalla (esim. tekniset kyvyt ja presentaatiokyky saivat yhdenmukaisuusarvot 0,848 ja 0,908). Toisaalta ne nostavat esille henkilöominaisuuksiin liittyen kompetenssien arvioinnin vaativuuden, vastaavien arvojen ollessa 0,695 henkilöominaisuuksille ja 0,365 orientaatiolle. Tutkimuksessa luotu kyselylomake toimii tarvittaessa pohjana jatkotutkimukselle analyysien validiteetin selvittämiseksi.

This study investigates the reliability of job candidate’s personnel evaluation reports written by Recruitment and Personnel Evaluation Agency MindFit Con-sulting Ltd. The purpose is to clarify how similarly different readers under-stand the content of the reports. In the study, the questionnaire form is created to be used for scoring MindFit’s evaluation reports called MindFit Analyses. The consistency of scores given by readers are then analyzed in order to get in-ter-rater reliability amongst readers. Analyses investigated here are written by personnel analyst who have inter-viewed and tested all the job candidates. The verbal analyses are operational-ized into a questionnaire for the readers to give numeric rates. The hypothesis about the different types of competences, practical and personal, is also investi-gated based on literature and the results of the study. The measures using Intraclass Correlation Coefficient function in statistical program show that the raters gave significantly similar values for the most of the Criteria, especially for the practical ones, such as Technical skills and Presentation skills (consistency values 0,847 and 0,908, respectively), but also rised up the challenge of evaluating personal oriented qualities, such as Person-al skills (consistency 0,695) and Orientation (consistency 0,365), which was the only quality significantly below the desired level of 0,7. The questionnaire form created in the study can be used as a base tool for the validation study.