Grunenberg et al., 2025: Predicting and Explaining Assessment Center Judgments
In dieser Studie wurde maschinelles Lernen eingesetzt, um zu analysieren, wie beobachtbares Verhalten die Urteile in Rollenspielübungen von Assessment-Centern (AC) beeinflusst. Durch das Trainieren von Modellen anhand von 36 Verhaltensmerkmalen aus Bewerberbewertungen für Medizinstudienplätze konnten die Forscher zeigen, dass diese Merkmale die Bewertungen der Beurteilenden zuverlässig vorhersagen können – und damit Modelle übertreffen, die auf Vorurteilen basieren. Zudem fanden sie Muster über verschiedene Übungen hinweg, was darauf hindeutet, dass bestimmte zwischenmenschliche Verhaltensweisen die Bewertung von Kandidat:innen konsistent beeinflussen.
Referenz:
Grunenberg, E., Stachl, C., Breil, S. M., Schäpers, P., & Back, M. D. (2025). Predicting and explaining assessment center judgments: A cross-validated behavioral approach to performance judgments in interpersonal assessment center exercises. Human Resource Management, 64(2), 423–445. https://doi.org/10.1002/hrm.22252Breil et al., 2024: Physicians' Social Skills – Conceptualization, Taxonomy, and Behavioral Assessment
Diese Studie befasst sich mit der Unklarheit darüber, was „soziale Kompetenzen“ in der medizinischen Ausbildung eigentlich bedeuten und wie sie erfasst werden können. Die Autoren schlagen eine verhaltensbasierte Taxonomie vor, die wichtige zwischenmenschliche Kompetenzen in drei Dimensionen unterteilt: Agency Skill (sich durchsetzen), Communion Skill (mit anderen auskommen) und Interpersonal Resilience (gelassen bleiben). Diese Struktur trägt dazu bei, überschneidende Begriffe zu vereinheitlichen und ermöglicht eine bessere Erfassung und Förderung der sozialen Kompetenzen zukünftiger Ärztinnen und Ärzte.
Referenz:
Breil, S. M., Amelung, D., Oberst, S., Rollinger, T., Ahrens, H., Garbe, A., Kadmon, M., Marschall, B., Back, M. D., & Peters, H. (2024). Physicians' social skills – conceptualization, taxonomy, and behavioral assessment. Perspectives on Medical Education, 13(1), 635–645. https://doi.org/10.5334/pme.1171Härtel et al., 2024: Relationships Between Resumé Cues and Applicants’ Personality
Diese Studie untersuchte, ob Persönlichkeitsmerkmale anhand von Lebensläufen zuverlässig bestimmt werden können, wobei der Schwerpunkt auf Wirtschaftsstudierenden lag, die sich auf eine fiktive Stelle bewarben. Anhand von 70 Verhaltensmerkmalen (z. B. kreative Hobbys, Qualität des Layouts) stellten die Forscher fest, dass Merkmale wie Gewissenhaftigkeit, Offenheit und Narzissmus zwar bis zu einem gewissen Grad vorhersagbar waren, aber nur wenige Merkmale tatsächlich zuverlässige Verbindungen zur Persönlichkeit aufwiesen. Die Ergebnisse deuten darauf hin, dass Lebensläufe zwar einige Persönlichkeitsmerkmale offenbaren, ihr Gesamtpotenzial für genaue Rückschlüsse jedoch begrenzt ist.
Referenz:
Härtel, T. M., Breil, S. M., Grunenberg, E., & Back, M. D. (2024). Relationships between resumé cues and applicants’ personality. Applied Psychology. 73(4), 1728–1771. https://doi.org/10.1111/apps.12522Ingold et al., 2024: Any Slice Is Predictive? Impressions at Different Moments in Assessment Centers
Diese Studie untersuchte, inwiefern kurze Eindrücke aus verschiedenen Teilen einer Assessment-Center-Übungen mit Leistungsbewertungen zusammenhängen. An drei Übungen nahmen insgesamt 223 Personen teil. Ungeschulte Beobachter bewerteten die Personen anhand kurzer Videosequenzen vom Anfang, der Mitte und des Endes jeder Aufgabe. Die Ergebnisse zeigten, dass diese Eindrücke konsistent waren und sowohl die Bewertungen im Assessment Center als auch die tatsächliche Arbeitsleistung vorhersagten.
Referenz:
Ingold, P. V., Heimann, A. L., & Breil, S. M. (2024). Any slice is predictive? On the consistency of impressions from the beginning, middle, and end of assessment center exercises and their relation to performance. Industrial and Organizational Psychology, 17(2), 192–205. https://doi.org/10.1017/iop.2024.2Knorr et al., 2024 Measuring Personal Characteristics in Applicants to German Medical Schools
Diese Pilotstudie evaluierte den in Kanada entwickelten „Casper”-SJT mit Freitextformat im Kontext der Zulassung zu einer deutschen medizinischen Hochschule. Unter 582 Teilnehmenden wurde der Test positiv bewertet und über zwei Jahre reliable Ergebnisse, obwohl die Übereinstimmung zwischen den verschiedenen Bewerter:innen nur mäßig war. Die Casper-Ergebnisse zeigten geringe, aber relevante Korrelationen mit anderen Auswahlinstrumenten, was auf ein Potenzial für den Einsatz bei Zulassungsverfahren hindeutet, sofern die Schulung der Bewerter:innen und die Anpassung der Szenarien weiter verfeinert werden.
Referenz:
Knorr, M., Mielke, I., Amelung, D., Safari, M., Gröne, O. R., Breil, S. M., & MacIntosh, A. (2024). Measuring personal characteristics in applicants to German medical schools: Piloting an online Situational Judgement Test with an open-ended response format. GMS Journal for Medical Education, 41(3), Article Doc30. https://doi.org/10.3205/zma001685Mielke et al., 2024: Predicting OSCE Performance Using Different Types of Situational Judgement Tests
In dieser Studie wurden zwei Arten von Situational Judgement Tests (SJTs) verglichen, die bei der Zulassung zum Medizinstudium verwendet werden: ein traditioneller SJT und eine konstruktbasierte Version, die eigens zur Bewertung sozialer Kompetenzen entwickelt wurde. Unter den Medizinstudierenden schnitten diejenigen, die beim konstruktbasierten SJT mehr kommunale Antworten gaben, in den OSCE-Stationen, in denen Interaktionen mit standardisierten Patienten erforderlich waren, besser ab. Die Ergebnisse deuten darauf hin, dass konstruktbasierte SJTs die klinische Leistung aussagekräftig vorhersagen können und einen Mehrwert gegenüber traditionellen Maßen wie dem Notendurchschnitt oder den Ergebnissen in naturwissenschaftlichen Tests bieten.
Referenz:
Mielke, I., Breil, S.M., Hissbach, J., Ehrhardt, M., & Knorr, M. (2024). Predicting undergraduate OSCE performance using traditional and construct-driven situational judgment tests at admission. Advances in Health Sciences Education. Advance online publication. https://doi.org/10.1007/s10459-024-10379-3Breil et al., 2023: Interpersonal Behavior in Assessment Center Role-Play Exercises
Diese Studie untersuchte das tatsächliche Verhalten von Kandidaten während Rollenspielen in realen Assessment Centern (AC )– ein Aspekt, der in der AC-Forschung weitgehend übersehen wird. Anhand von Expert:innen kodierten Videodaten von 203 Teilnehmern identifizierten die Forscher vier allgemeine Verhaltensbereiche: Agency, Communion, interpersonell Gelassenheit und intellektuelle Kompetenz . Diese Verhaltensweisen waren über die Übungen hinweg konsistenter als die Bewertungen der Assessor:innen und halfen dabei, sowohl die Leistung in den Rollenspielen als auch die zukünftige interpersonelle Effektivität vorherzusagen.
Referenz:
Breil, S. M., Lievens, F., Forthmann, B., & Back, M. D. (2023). Interpersonal behavior in assessment center role-play exercises: Investigating structure, consistency, and effectiveness. Personnel Psychology, 76(3),759–795. https://doi.org/10.1111/peps.12507Breil, Forthmann et al., 2022: Measuring Distinct Social Skills via Multiple Speed Assessments
Diese Studie stellt einen verhaltensorientierten Ansatz für die Personalauswahl vor, der bestimmte soziale Kompetenzen wie Überzeugungskraft, Mitgefühl und emotionale Kontrolle misst. Anstelle von breiten Simulationen haben die Autoren kurze, gezielte Übungen entwickelt, die jeweils auf eine bestimmte Kompetenz ausgerichtet sind, um die Beobachtungs- und Bewertungsfähigkeiten der Assessor:innen in Bezug auf das tatsächliche Verhalten zu verbessern. Die Ergebnisse aus drei realen Auswahlstichproben zeigten, dass diese Methode individuelle Unterschiede in den sozialen Kompetenzen reliabel erfasst und somit einen präziseren und valideren Bewertungsprozess ermöglicht.
Referenz:
Breil, S. M., Forthmann, B., Back, M. D. (2022). Measuring distinct social skills via multiple speed assessments – a behavior-focused personnel selection approach. European Journal of Psychological Assessment, 38(3), 224–236. https://doi.org/10.1027/1015-5759/a000657Breil, Mielke et al., 2022: Predicting Actual Social Skill Expression from Personality and Skill Self-Concepts
Diese Studie untersuchte, inwieweit Persönlichkeitsmerkmale und selbst eingeschätzte soziale Kompetenzen die tatsächliche Ausprägung sozialer Kompetenzen vorhersagen können. Mithilfe von Verhaltenssimulationen bewerteten die Forscher drei Kernkompetenzen: Agency Skill (sich durchsetzen), Communion Skill (mit anderen auskommen) und Interpersonal Resilience (gelassen bleiben). Während Selbstkonzepte und Persönlichkeitsmerkmale vorhersagten, wie die Teilnehmer ihr eigenes Verhalten bewerteten, stimmte nur Agency Skills mit der Wahrnehmung durch Beobachter:innen überein – was darauf hindeutet, dass die Selbstwahrnehmung von Menschen nicht immer mit ihrem Verhalten in sozialen Situationen übereinstimmt.
Referenz:
Breil, S. M., Mielke, I., Ahrens, H., Geldmacher, T., Sensmeier, J., Marschall, B., & Back, M. D. (2022). Predicting actual social skill expression from personality and skill self-concepts. Journal of Intelligence, 10(3), Article 48. https://doi.org/10.3390/jintelligence10030048Breil, Schweppe et al., 2022: The Incremental Validity of Average States: A Replication and Extension
Diese Studie replizierte und erweiterte frühere Forschung zu der Frage, ob die Mittelung der momentanen States von Menschen (Gedanken, Gefühle, Verhaltensweisen) eine bessere Grundlage für Fremdeinschätzungen der Persönlichkeit bietet als traditionelle Selbstauskünfte. Über fünf Experience-Sampling-Studien hinweg sagten die gemittelten, selbstberichteten States die Persönlichkeitseinschätzungen durch andere nicht besser vorher als globale Selbstberichte. Wenn jedoch Peers diese States über einen längeren Zeitraum hinweg verfolgten und berichteten, verbesserten sich die Vorhersagen anhand dieser Durchschnittswerte – was darauf hindeutet, dass die Informationsquelle wichtiger ist als die Methode allein.
Referenz:
Breil, S. M., Schweppe, P. C., Geukes, K., Biesanz, J. C., Quintus, M., Wagner, J., Wrzus, C., Nestler, S., & Back, M. D. (2022). The incremental validity of average states: A replication and extension of Finnigan and Vazire (2018). Journal of Personality and Social Psychology, 123(3), e23–e37. https://doi.org/10.1037/pspp0000408Mielke et al., 2022: Assessing Distinguishable Social Skills in Medical Admission
Diese Studie untersuchte, ob ein konstruktionsbasierter Situational Judgment Test (SJT) zwei wichtige soziale Kompetenzen – Agency Skill (sich durchsetzen), Communion Skill (mit anderen auskommen) – besser erfassen kann. Bewerber:innen für ein Medizinstudium absolvierten sowohl traditionelle als auch konstruktbasierte SJTs, und die Ergebnisse zeigten, dass der neue Test eine klare Struktur hatte und enger mit selbstberichteten sozialen Kompetenzen und vergangenem Verhalten zusammenhing. Obwohl die ersten Anzeichen für die Validität vielversprechend sind, weisen die Autor:innen darauf hin, dass weitere Untersuchungen erforderlich sind, bevor solche Tests in großem Umfang bei realen Zulassungsverfahren eingesetzt werden können.
Referenz:
Mielke, I., Breil, S. M., Amelung, D., Espe, L., & Knorr, M. (2022). Assessing distinguishable social skills in medical admission - Does construct-driven development solve validity issues of situational judgment tests? BMC Medical Education, 22(1), Article 293. https://doi.org/10.1186/s12909-022-03305-xBreil et al., 2020: Construct Validity of Multiple Mini Interviews in Medical Selection
Diese Studie untersuchte, ob Multiple Mini-Interviews (MMIs), die häufig bei der Medizinstudienzulassung eingesetzt werden, tatsächlich spezifische soziale Kompetenzen wie Empathie messen. Bei der Analyse der Daten von 376 Bewerbern und 144 Bewertern unter Verwendung der Bayesianischen Generalisierbarkeitstheorie stellten die Forschenden fest, dass der größte Teil der reliablen Varianz in den MMI-Ergebnissen auf allgemeine und stationsspezifische Leistungen zurückzuführen war und nicht auf den Ausdruck spezifischer sozialer Kompetenzen. Die Ergebnisse legen eine stärkere Ausrichtung von MMI-Stationen auf Kompetenzen sowie eine tiefere Analyse dessen, was diese MMIs tatsächlich erfassen, nahe.
Referenz:
Breil, S. M., Forthmann, B., Hertel-Waszak, A., Ahrens, H., Brouwer, B., Schönefeld, E., Marschall, B., Back, M. D. (2020). Construct validity of multiple mini interviews – Investigating the role of stations, skills, and raters using Bayesian G-theory. Medical Teacher, 42(2),164–171. https://doi.org/10.1080/0142159X.2019.1670337
