Hubert Annen
Abstract
Following its statutes, the association Swiss Assessment is committed to ensuring that the selection and personnel development procedures known as assessment centres (ACs) are oriented toward the scientifically recognised quality standards of the AC method. Consequently, its members commit themselves to carefully implementing, developing, and evaluating ACs. To lend binding force and emphasis to the association's purpose both internally and externally, Swiss Assessment developed a certification procedure that came into force in 2012. Within the framework of a document analysis and an audit, the provider of AC services proves that the standards are being followed. The certification procedures with internal or external AC providers bring specific aspects relevant to this topic to light. Quality criteria such as AC design, assessor training, assessment process, infrastructure, and customer satisfaction are usually not too challenging. However, a considerable additional effort has to be made in the evaluation. Establishing predictive validity is not standard behaviour. There are also significant hurdles to overcome in psychological testing procedures. Here, instruments are still used that do not meet scientific requirements. With the AC quality label, Swiss Assessment makes a tangible contribution to ensuring that personnel selection and assessment of potential are not left to chance in personnel development. Certified AC providers thus strengthen their (market) position, and customers of AC services are generally assured that they are using a procedure that meets the quality standards.
Keywords: Assessment Center; Quality standards; quality management; certification procedure; quality label
Hubert Annen
Zusammenfassung
Gemäß seinen Statuten setzt sich der Verein Swiss Assessment dafür ein, dass sich die als Assessment Center (AC) bezeichneten Selektions- und Personalentwicklungsverfahren an den wissenschaftlich anerkannten Qualitätsstandards der AC-Technik orientieren. Folglich verpflichten sich dessen Mitglieder in einer Selbstdeklaration zur sorgfältigen Durchführung, Entwicklung und Evaluierung von ACs. Um dem
Vereinszweck nach innen und außen Verbindlichkeit und Nachdruck zu verleihen, entwickelte Swiss Assessment ein Zertifizierungsverfahren, das im Jahr 2012 in Kraft trat. Im Rahmen einer Dokumentenanalyse und eines Audits wird hier der Tatbeweis erbracht, dass man sich an den Standards orientiert. Die Zertifizierungsverfahren mit internen oder externen Anbietern von AC-Dienstleistungen führen spezifische Aspekte zu Tage, die für vorliegende Thematik relevant sind. Qualitätskriterien wie AC-Konstruktion, Beurteilendenschulung, Beurteilungsprozess, Infrastruktur und Kundenzufriedenheit stellen normalerweise keine allzu großen Herausforderungen dar. Ein beträchtlicher Zusatzaufwand muss indes bei der Evaluation geleistet werden. Die Feststellung der prädiktiven Validität ist offenbar kein Standardverhalten. Ebenfalls beträchtliche Hürden gilt es bei der Anwendung psychologischer Testverfahren zu überwinden. Hier sind immer noch Instrumente im Umlauf, die den wissenschaftlichen Anforderungen nicht genügen. Swiss Assessment leistet mit dem AC-Qualitätslabel einen greifbaren Beitrag dazu, dass Personalselektion und Potenzialfeststellung im Rahmen der Personalentwicklung nicht dem Zufall überlassen werden. Zertifizierte AC-Anbieter stärken damit ihre (Markt-)Position, und Bezügern von ACDienstleistungen wird generell die Sicherheit gegeben, ein Verfahren zu nutzen, das den Qualitätsstandards entspricht.
Schlüsselwörter: Assessment Center; Qualitätsstandards; Qualitätssicherung; Zertifizierungsverfahren; Qualitätslabel
Hella Klemmert, Nicolas Sander, Erik Sengewald & Dorothea Klinck
Abstract
The leading role of cognitive ability tests as the best job-unspecific predictors of training success is confirmed in a recent longitudinal study by the German Federal Employment Agency. Approximately 150,000 individuals who participated in the vocational aptitude test (Berufswahltest, BWT) as adolescents were interviewed approximately eight years later about their career paths, especially their vocational training and final grades. The participation rate was 23.3% (N = 35,006). Multilevel analyses accounting for grouping by profession show that cognitive abilities, as measured with the BWT, explain more variance in final grades than the other biographical and personal characteristics combined. Among these, conscientiousness and attained level of school education are particularly significant. Furthermore, professions can be clearly differentiated according to the intelligence distribution of their incumbents, allowing for valid predictions of job-specific success in individual counseling settings. This aspect receives little attention in research. The differentiation of professions based on their intellectual level emphasizes the importance of cognitive abilities for the prediction of career success.
Keywords: occupational aptitude assessment, prediction of vocational training success, required cognitive levels of different occupations, intelligence
Hella Klemmert, Nicolas Sander, Erik Sengewald & Dorothea Klinck
Zusammenfassung
Die führende Rolle von kognitiven Fähigkeitstests als beste jobunspezifische Prädiktoren von Ausbildungserfolg bestätigt sich in einer aktuellen Längsschnittstudie der Bundesagentur für Arbeit. Ca. 150 000 Personen, die als Jugendliche am Berufswahltest teilgenommen hatten, wurden ca. 8 Jahre später zu ihrem beruflichen Werdegang befragt, insbesondere zu ihrer Berufsausbildung und der Abschlussnote.
Die Teilnahmequote lag bei 23.3 % (N = 35 006). Mehrebenenanalysen unter Berücksichtigung der Gruppierung nach Berufen zeigen, dass die im Berufswahltest erfassten kognitiven Fähigkeiten der Jugendlichen mehr Varianz der Abschlussnoten erklären als die weiteren biographischen und personenbezogenen Merkmale zusammen. Unter diesen sind Gewissenhaftigkeit und schulischer Bildungsgang besonders bedeutsam. Berufe lassen sich zudem anhand der Intelligenzverteilung von Berufsinhaber*innen deutlich hinsichtlich ihres Anforderungsniveaus unterscheiden und erlauben damit berufsspezifische Erfolgsprognosen in der Individualdiagnostik. Diesem Aspekt wird in der Forschung wenig Aufmerksamkeit entgegengebracht. Die Differenzierbarkeit der Berufe anhand ihres intellektuellen Niveaus unterstreicht die Bedeutung von kognitiven Fähigkeiten für die Prognose von beruflichem Erfolg.
Schlüsselwörter: Berufseignungsdiagnostik, Prognose von Ausbildungserfolg, kognitive Anforderungsniveaus von Ausbildungsberufen, Intelligenz
Benedikt Hell, Katja Päßler & Miriam Nido
Abstract
The meta-analysis by Schmidt and Hunter (1998) has had a major impact on the research and application field of aptitude diagnostics to date, and it is expected that the meta-analysis by Sackett, Zhang, Berry, and Lievens (2022) will have a similar impact. What is unclear is the extent to which these meta-analytic findings are perceived in practice. This study therefore examines the extent to which validity assessments by HR professionals align with the meta-analytic findings of Schmidt and Hunter (1998) and the newly published study by Sackett, Zhang, Berry, and Lievens (2022) and how discrepancies can be explained. The results show that compared to the existing meta-analytical findings the validity of assessment centers and of credentials is overestimated, while the validity of cognitive ability tests is underestimated. Overall, however, HR professionals have a predominantly realistic picture of the validity of the selection procedures. The identified divergent assessments by HR professionals are explored and conclusions for further research and dissemination of the research results are derived.
Keywords: science-practice gap, validity, personnel selection, meta-analysis, user perspective
Benedikt Hell, Katja Päßler & Miriam Nido
Zusammenfassung
Die Metaanalyse von Schmidt und Hunter (1998) hat bis heute einen großen Einfluss auf das Forschungs- und Anwendungsfeld Eignungsdiagnostik und es ist zu erwarten, dass die Metaanalyse von Sackett, Zhang, Berry und Lievens (2022) einen ähnlichen Impact entfalten wird. Unklar ist, wie sehr diese metaanalytischen Erkenntnisse in der Praxis wahrgenommen werden. Dieser Beitrag untersucht, ob die Validitätseinschätzungen von HR-Fachpersonen mit den metaanalytischen Ergebnissen von Schmidt und Hunter (1998) sowie der neu erschienenen Studie von Sackett, Zhang, Berry und Lievens (2022) übereinstimmen und wie etwaige Abweichungen erklärt werden können. Die Ergebnisse zeigen, dass die Validität von Assessment Centern und von Referenzen im Vergleich zur metaanalytischen Befundlage
überschätzt und die Aussagekraft von kognitiven Fähigkeitstests unterschätzt wird. Insgesamt haben die HR-Fachpersonen aber ein überwiegend realistisches Bild von der Aussagekraft der Auswahlverfahren. Die ermittelten abweichenden Einschätzungen durch die HR-Fachpersonen werden ergründet und es werden Schlussfolgerungen für die weitere Forschung sowie die Dissemination von praxisorientierten Forschungsergebnissen abgeleitet.
Schlüsselwörter: Wissenschafts-Praxis-Gap, Validität, Eignungsdiagnostik, Metaanalyse, Anwendersicht
Susanne Schulte & Maren Hiltmann
Abstract
In the meta-analytic review by Sackett et al. (2022), the validity of structured interviews is the highest compared to other selection methods. This raises the question of how these interviews differ from other interviews. What does structure refer to? The aim of the present article is to present the various elements of structure and thus optimisation approaches for the validity of interview procedures for applied settings,
and to discuss the benefits and limitations of structuring interviews.
Keywords: Interview, quality, validity, structure, standardisation, personnel selection
Susanne Schulte & Maren Hiltmann
Zusammenfassung
Die Validität von strukturierten Interviews fällt in der metaanalytischen Überblicksarbeit von Sackett et al. (2022) im Vergleich mit anderen Auswahlmethoden am höchsten aus. Daraus ergibt sich die Frage, worin sich strukturierte Interviews von anderen Interviews unterscheiden. Worauf bezieht sich Strukturierung? Ziel dieses Artikels ist es, die verschiedenen Strukturierungselemente und damit Optimierungsansätze
für die Validität von Interviewverfahren praxisbezogen aufzuzeigen sowie Nutzen und Grenzen der Strukturierung von Interviews zu erörtern.
Schlüsselwörter: Interview, Qualität, Validität, Strukturierung, Standardisierung, Personalauswahl
Dieter Hasselmann
Abstract
Schmidt and Hunter's (1998) review study of meta-analytic findings represents a widely acclaimed milestone in the assessment of validity and usefulness of commonly used aptitude diagnostic instruments. Discussed are what implications the findings had (or have) and should have for the field of management diagnostics. In particular, two aspects are examined in more detail. First, the question of how far intelligence tests, which proved to be particularly valid in the study, should also be regarded as an indispensable core method for management diagnostics. On the other hand, it is discussed whether, in spite of the only moderate validity characteristics, a multi-method procedures procedure design should be aimed at for the purpose of management diagnostics. As a result of the considerations, the methodological development impulse of the results of the meta-analysis of Schmidt and Hunter for the practice of management diagnostics is relativized. For the meaningfulness of aptitude diagnostic procedures, also in management diagnostics, the design of the (complete) aptitude diagnostic process as well as the numerous associated design and implementation questions are emphasized as crucial.
Keywords: Management diagnostics, meta-analysis, intelligence tests, assessment center, multi-method procedures
Dieter Hasselmann
Zusammenfassung
Die Überblicksstudie metaanalytischer Befunde von Schmidt und Hunter (1998) stellt einen vielbeachteten Meilenstein der Bewertung von Validität und Nützlichkeit der gebräuchlichen eignungsdiagnostischen Instrumente dar. Erörtert wird, welche Implikationen die Ergebnisse für das Feld der Managementdiagnostik hatten (bzw. haben) und haben sollten. Dabei werden insbesondere zwei Aspekte näher betrachtet. Zum einem die Frage, wieweit Intelligenztests, die sich in der Studie als besonders valide erwiesen, (auch) für die Managementdiagnostik als unverzichtbare Kernmethode anzusehen sind. Zum anderen wird diskutiert, ob trotz der nur moderaten Validitätskennwerte von Assessment Centern eine multimethodale Verfahrensgestaltung für Zwecke der Managementdiagnostik angestrebt werden sollte. Als Ergebnis der Betrachtungen wird der methodische Entwicklungsimpuls der Ergebnisse der Metaanalyse von Schmidt und Hunter für die Praxis der Managementdiagnostik relativiert. Für die Aussagefähigkeit eignungsdiagnostischer Verfahren, auch in der Managementdiagnostik, werden vielmehr die Gestaltung des (kompletten) eignungsdiagnostischen Prozesses sowie die zahlreichen damit verbundenen Ausgestaltungs- und Durchführungsfragen als entscheidend herausgestellt.
Schlüsselwörter: Managementdiagnostik, Metaanalyse, Intelligenztests, Assessment Center, Multimethodale Verfahren