Uwe P. Kanning
Abstract
Meta-analyses provide an important overview for research, especially in heavily studied fields such as personnel selection, and can at the same time provide orientation for the design of personnel selection processes in practice. However, surveys of practitioners who deal with everyday personnel selection in Germany show a large discrepancy between the recommendations of research and the usual design of
personnel selection processes. Against this background, possible reasons are discussed and tasks for future research are outlined.
Keywords: personnel selection, meta-analysis, science-practice gap
Uwe P. Kanning
Zusammenfassung
Metaanalysen geben insbesondere in stark untersuchten Feldern wie der Personalauswahl einen wichtigen Überblick für die Forschung und können dabei gleichzeitig Orientierung zur Gestaltung von Personalauswahlverfahren in der Praxis liefern. Befragungen von Praktikerinnen und Praktikern, die sich mit dem Alltag der Personalauswahl in Deutschland beschäftigen, belegen allerdings eine große Diskrepanz
zwischen den Empfehlungen der Forschung und der üblichen Gestaltung von Personalauswahlverfahren. Vor diesem Hintergrund werden mögliche Gründe diskutiert und Aufgaben für die zukünftige Forschung skizziert.
Schlüsselwörter: Personalauswahl, Metaanalyse, Forschungs-Praxis-Diskrepanz
Marvin Neumann, A. Susan. M. Niessen & Rob R. Meijer
Abstract
When hiring employees, a main goal of many organizations is to make valid predictions of future job performance. “What are valid selection methods for predicting future job performance” is therefore a central question for scientists and practitioners. This question is answered in depth by Schmidt and Hunter (1998) and Sackett et al. (2022). In most selection procedures, multiple selection methods are used, often with the intention to increase predictive validity compared to using a single selection method. Therefore, Schmidt and Hunter (1998) also discussed to what extent selection methods show incremental validity over and above the use of general mental ability, when information from selection methods is combined mechanically using optimal regression weights. However, in practice, information is rarely combined using optimal regression weights. Therefore, we discuss how different weighting schemes affect the overall validity of a selection procedure, and why more information does not always result in better predictions. However, in practice, information is rarely combined mechanically at all, but is most often combined holistically ‘in the mind’, resulting in less valid predictions than mechanical combination. Therefore, we provide practical recommendations on how to combine information mechanically, such that valid job performance predictions are made without losing the acceptance of decision makers and other stakeholders.
Keywords: Decision making, test use, holistic and mechanical combination, personnel selection, algorithm aversion
Marvin Neumann, A. Susan. M. Niessen & Rob R. Meijer
Zusammenfassung
Ein Ziel vieler Organisationen ist die valide Vorhersage von Arbeitsleistung. „Welche Auswahlmethoden können Arbeitsleistung valide vorhersagen“ ist daher eine zentrale Frage, die sich Forscher und Praktiker häufig stellen, und die in den Publikationen von Schmidt und Hunter (1998) und Sackett et al. (2022) besprochen wird. In den allermeisten Personalauswahlprozessen werden mehrere Auswahlmethoden
eingesetzt, häufig mit der Absicht, die prädiktive Validität gegenüber dem Einsatz einer einzelnen Auswahlmethode zu steigern. Daher besprechen Schmidt und Hunter (1998) auch, inwiefern Auswahlmethoden inkrementelle Validität gegenüber dem Einsatz von allgemeinen Intelligenztests allein aufweisen, wenn Informationen aus Auswahlmethoden mechanisch (oder statistisch) mittels optimaler Regressionsgewichte
kombiniert werden. In der Praxis werden Informationen jedoch selten mittels optimaler Regressionsgewichte kombiniert. Daher besprechen wir in diesem Artikel, wie alternative Gewichtungen die Validität des Gesamtverfahrens beeinflussen können und warum mehr Informationen nicht immer zu besseren Leistungsvorhersagen führen. Am häufigsten werden Informationen in der Praxis gar nicht mechanisch, sondern viel mehr holistisch (oder klinisch) „im Kopf“ kombiniert, was zu schlechteren Vorhersagen führt. Daher geben wir Handlungsempfehlungen für die Praxis, wie Informationen mechanisch kombiniert werden können, um valide Leistungsvorhersagen zu treffen, ohne die Akzeptanz von Entscheidungsträgerinnen und -trägern und anderen Stakeholdern zu verlieren.
Schlüsselwörter: Entscheidungsfindung, Testnutzung, holistische und mechanische Kombination, Personalauswahl, Algorithmus Aversion
Klaus Moser & George Gunnesch-Luca
Abstract
With the introduction of the meta-analytical method of validity generalization, it has become possible to declare a number of authoritative findings in research and practice of personnel selection, especially statements on the quality of different personnel selection procedures, the appropriateness of their combination, or the limited need to consider special circumstances of the respective selection situation. Methodological norms for validation studies of personnel selection procedures have also been established. However, these are only limited social norms, i.e., beliefs shared by a manageable circle of people that sanction deviations or at least disapprove deviations. Such norms include the individual’s job performance being the best validation criterion, that supervisors are the best source of judgment for its assessment, that performance should actually be measured multidimensionally, or that the job analysis-based foundation of personnel selection procedures continues to play a central role and that criterion validity is underestimated by the usual validation studies and therefore needs considerable corrections. We discuss the extent to which these are primarily social norms and develop a series of questions that show that the field of personnel selection is a both methodologically and theoretically demanding research area.
Keywords: Criterion validity, validity generalization, performance criteria, job analysis, variance restriction, situation strength
Klaus Moser & George Gunnesch-Luca
Zusammenfassung
Mit der Einführung der metaanalytischen Methode der Validitätsgeneralisierung wurde es ermöglicht, eine Reihe verbindlicher Befunde in Forschung und Praxis der Personalauswahl zu deklarieren, insbes. Aussagen zur Qualität unterschiedlicher Personalauswahlverfahren, zur Sinnhaftigkeit deren Kombination oder zur begrenzten Notwendigkeit, spezielle Umstände der jeweiligen Auswahlsituation berücksichtigen
zu müssen. Begleitend dazu haben sich methodische Normen für Validierungsstudien zu Personalauswahlverfahren etabliert. Dabei handelt es sich allerdings nur um begrenzte soziale Normen, also von einem überschaubaren Kreis von Personen geteilte Überzeugungen, die Abweichungen sanktionieren oder zumindest i.S. von Konventionen missbilligen. Zu solchen Normen gehört, dass die individuelle Leistung das beste Validierungskriterium sei, dass die beste Urteilsquelle zu deren Erfassung hierfür Vorgesetzte seien, dass Leistung eigentlich mehrdimensional zu erfassen sei, dass die anforderungsanalytische Fundierung von Personalauswahlverfahren nach wie vor eine zentrale Rolle spiele und dass die Kriteriumsvalidität durch die üblichen Validierungsstudien unterschätzt werde und daher deutlich korrigiert werden müsse. Wir diskutieren das Ausmaß, in dem es sich hierbei vor allem um soziale Normen handelt und entwickeln eine Reihe von Fragestellungen, die zeigen, dass das Gebiet der Personalauswahl ein sowohl methodisch als auch theoretisch anspruchsvolles Forschungsgebiet ist.
Schlüsselwörter: Kriteriumsvalidität, Validitätsgeneralisierung, Leistungskriterien, Arbeits- und Anforderungsanalyse, Varianzeinschränkung, Situationsstärke
Martin Kleinmann
Abstract
Schmidt and Hunter (1998b) postulate that intelligence tests are the most valid selection procedure and that other frequently used procedures are markedly less valid. This central statement of their meta-analytic summary is no longer tenable from today's point of view. In the meantime, newer meta-analyses with different results are available for many of the procedures considered. A recent comparison of these procedures
is provided in a meta-analytic review by Sackett, Zhang, Berry, and Lievens (2022). Additionally, there are other research approaches to make an even more methodologically adequate comparison between different diagnostic procedures. The predictive power of intelligence tests compared to assessment centers and structured interviews will be discussed in more detail, since the latter two procedures are used particularly frequently in German-speaking countries. According to the latest research, intelligence tests are no longer considered the most valid procedures, assessment centers seem to be more valid than intelligence tests, and structured interviews in particular are recommended for practical use.
Keywords: Intelligence tests, structured interviews, assessment centers, meta-analyses, comparison of selection procedures
Martin Kleinmann
Zusammenfassung
Schmidt und Hunter (1998b) postulieren, dass Intelligenztests die validesten Auswahlverfahren und andere häufig verwendete Verfahren deutlich weniger valide seien. Diese zentrale Aussage ihrer metaanalytischen Zusammenfassung ist aus heutiger Sicht so nicht mehr haltbar. Für viele der betrachteten Verfahren liegen zwischenzeitlich neuere Metaanalysen mit anderen Ergebnissen vor. Einen aktualisierten Vergleich dieser Verfahren liefert eine metaanalytische Überblicksarbeit von Sackett, Zhang, Berry und Lievens (2022). Zusätzlich gibt es andere Forschungsansätze, um einen methodisch adäquateren Vergleich zwischen unterschiedlichen eignungsdiagnostischen Verfahren vorzunehmen. Im Folgenden wird hierzu die Vorhersagekraft von Intelligenztests im Vergleich zu Assessment Centern und strukturierten Interviews näher betrachtet, da die beiden letztgenannte Verfahren besonders häufig im deutschen Sprachraum eingesetzt werden. Nach neuestem Forschungsstand werden Intelligenztests nicht mehr als die validesten Verfahren betrachtet, Assessment Center scheinen valider als Intelligenztests zu sein, und insbesondere strukturierte Interviews sind für die Praxis zu empfehlen.
Schlüsselwörter: Intelligenztests, strukturierte Interviews, Assessment Center, Metaanalysen, eignungsdiagnostischer Verfahrensvergleich
Klaus G. Melchers
Abstract
Schmidt and Hunter’s (1998) article provides an overview and comparison of the criterion-related validities of different personnel selection procedures. For their article, Schmidt and Hunter chose meta-analytic validities that were corrected for range restriction in the predictor and unreliability of the criterion (i.e., the job performance measure). By doing so, Schmidt and Hunter wanted to allow for a comprehensive
comparison of the true validities of the different selection procedures. Nevertheless, there are several aspects that impair the interpretation of this comparison or that might lead to inappropriate conclusions: First, the quality and the data base of the meta-analyses that were used for this comparison, second, missing information about uncorrected validities of the different selection procedures, third, differences concerning the procedures and assumptions for the meta-analytic corrections, fourth, the choice of the predicted criterion, and fifth, the omission of several selection procedures in the comparison. In the present article, the different aspects and their relevance will be explained in detail, and it will be described, to which degree conclusions concerning the validity of selection procedures might change when other assumptions are made than by Schmidt and Hunter or when other methodological procedures are used.
Keywords: Personnel selection, meta-analysis, criterion-related validity, review
Klaus G. Melchers
Zusammenfassung
Der Artikel von Schmidt und Hunter (1998) bietet einen Überblick und Vergleich der Kriteriumsvalidität verschiedenster Personalauswahlverfahren. Für ihren Artikel haben Schmidt und Hunter jeweils metaanalytisch ermittelte Validitäten ausgewählt, bei denen Korrekturen für Varianzeinschränkung im Auswahlverfahren und Unreliabilität des Kriteriums (d. h. der Messung der Arbeitsleistung) vorgenommen wurden. Hiermit wollten Schmidt und Hunter einen umfassenden Vergleich der wahren Validität der verschiedenen Auswahlverfahren ermöglichen. Trotzdem gibt es eine Reihe von Aspekten, die die Interpretation dieses Vergleichs erschweren bzw. die zu falschen Schlussfolgerungen führen: Erstens die Qualität und Datengrundlage der Metaanalysen, die für diesen Vergleich herangezogen wurden, zweitens die fehlenden Informationen zu unkorrigierten metaanalytischen Validitäten der verschiedenen Auswahlverfahren, drittens unterschiedliche Vorgehensweisen und Annahmen im Rahmen der durchgeführten Korrekturen in den verwendeten Metaanalysen, viertens das gewählte Kriterium, das durch die verschiedenen Auswahlverfahren vorhergesagt werden soll, und fünftens das Problem von nicht berücksichtigte Auswahlverfahren in dieser Übersicht. Im Rahmen dieses Beitrags werden die verschiedenen Aspekte und ihre Bedeutung jeweils genauer erläutert, und es wird dargestellt, inwiefern sich Schlussfolgerungen bzgl. der Validität von Auswahlverfahren ändern können, wenn andere Annahmen und Vorgehensweisen als bei Schmidt und Hunter (1998) gewählt werden.
Schlüsselwörter: Personalauswahl, Metaanalyse, Kriteriumsvalidität, Überblicksartikel