Fachgruppe Sozialpsychologie

Free AccessFachgruppe SozialpsychologieFaires und valides Shortlisting in Phase 1Jens Lange, Juliane Degner, Ilka H. Gleibs, and Eva JonasJens LangeDr. Jens Lange, Institut für Psychologie, Universität Hamburg, Von-Melle-Park 5, 20146 Hamburg, Deutschland, [email protected]Institut für Psychologie, Universität Hamburg, DeutschlandSearch for more papers by this author, Juliane DegnerInstitut für Psychologie, Universität Hamburg, DeutschlandSearch for more papers by this author, Ilka H. GleibsDepartment of Psychological and Behavioural Science, London School of Economics, Great BritainSearch for more papers by this author, and Eva JonasFachbereich Psychologie, Paris-Lodron Universität Salzburg, ÖsterreichSearch for more papers by this authorPublished Online:July 27, 2023https://doi.org/10.1026/0033-3042/a000641PDF ToolsAdd to favoritesDownload CitationsTrack Citations ShareShare onFacebookTwitterLinkedInReddit SectionsMoreDie Unterzeichnung von CoARA (https://coara.eu/) und DORA (https://sfdora.org) waren wichtige Bekenntnisse der DGPs zur Sicherstellung fairer und valider Berufungsverfahren. Um dieses Bekenntnis mit Leben zu füllen, erarbeiteten Gärtner, Leising und Schönbrodt (2023) aufbauend auf zentralen vorherigen Beiträgen (Gärtner, Leising & Schönbrodt, 2022; Schönbrodt et al., 2022) einen konkreten Vorschlag, wie Forschungsleistungen von Bewerber_innen in Berufungsverfahren beurteilt werden können. Wir stimmen zu, dass dieser Schritt von zentraler Bedeutung ist.Der Unterschied zu jetzigen Berufungsverfahren liegt primär in Phase 1, in der Bewerber_innen anhand konkreter Kriterien für qualitativ hochwertige Forschung quantitativ eingeschätzt werden. Laut Vorschlag sollen nur Bewerber_innen, die eine Mindest-Schwelle von Punkten überschreiten, für eine nähere Begutachtung in Phase 2 ausgewählt werden; ein Shortlisting. Phase 2 unterscheidet sich dagegen wenig von bisherigen Berufungsverfahren nach dem typischen Vorsingen. Die Fairness und Validität zukünftiger Berufungsverfahren hängt folglich entscheidend von der Ausgestaltung von Phase 1 ab.Wir stimmen mit Gärtner et al. (2023) überein, dass ein multidimensionales Punktesystem zur Bewertung der Forschungsqualität in Phase 1 dem jetzigen System gegenüber zu bevorzugen ist und halten das vorgeschlagene multidimensionale Punktesystem (Gärtner et al., 2022) für sehr gelungen. Allerdings sehen wir weitere Wege, Phase 1 sowohl fairer als auch valider zu gestalten. Im Folgenden gehen wir auf diese Wege näher ein.Erhöhung der FairnessGärtner et al. (2022) stellen konkrete Kriterien und Gewichtungsmöglichkeiten zur Bewertung von Publikationen, Datensätzen und Software vor, die Kommissionen unmittelbar verwenden können. Darüber hinaus bleibt es einer Berufungskommission freigestellt, dieses Punktesystem für sich zu ändern. Zu diesem Prozess möchten wir drei Vorschläge machen, die die Fairness des Punktesystems erhöhen können.Erstens, die Kriterien sollten von der Berufungskommission spätestens mit der Verabschiedung der Ausschreibung feststehen. Bisher ist es durchaus üblich, dass Berufungskommissionen die Kriterien nach der Verabschiedung durch den Fakultätsrat, jedoch vor dem Einsehen der Bewerbungen, noch einmal ändern. Diese Praxis ermöglicht, dass im Rahmen von Berufungskommissionen das Punktesystem durch einzelne Kommissionsmitglieder nach eigenen Vorstellungen abgewandelt wird. Das ist potenziell unfair. Um dies zu verhindern, schlagen wir vor, dass das Punktesystem transparent mit der Ausschreibung veröffentlicht wird.Zweitens, um diesen Prozess zu erleichtern, muss eine Berufungskommission nicht notwendigerweise jedes Mal ein neues Punktesystem ausarbeiten. Solch ein Punktesystem wäre womöglich sogar unfair, da selten viele Mitglieder der Berufungskommission selbst im Feld der Denomination der ausgeschriebenen Professur arbeiten. Es wäre natürlich möglich, einfach für jede Ausschreibung das gleiche Punktesystem zu verwenden, bspw. das was Gärtner et al. (2022) vorschlagen. Allerdings wird dieses System nicht auf das Profil jeder Professur passen. Ein Mittelweg könnte sein, dass sich jedes Institut auf eine Reihe von Punktesystemen einigt, die für Professuren einer jeweiligen Denomination passen. Sobald eine bestehende Professur neu besetzt wird, kann dieses Punktesystem als Basis herangezogen werden.Drittens, um den Aufwand einzelner Institute zu verringern, könnten DGPs Fachgruppen für Professuren mit ihrer Denomination ein übergeordnetes Punktesystem ausarbeiten, das Institute dann zu Rate ziehen können. Beispielsweise hat die Fachgruppe Sozialpsychologie eine Stellungnahme zur Qualität, Replizierbarkeit und Transparenz sozialpsychologischer Forschung verabschiedet, aus der sich ein fachspezifisches Punktesystem ableiten ließe (https://www.dgps.de/fachgruppen/sozialpsychologie/aktivitaeten/aktuelle-mitteilungen/news-details/stellungnahme-zur-qualitaetssicherung-in-der-forschung/). Mit Punktesystemen, die durch die Fachgruppen der DGPs entwickelt wurden, könnte eine deutschlandweit vergleichbare und damit faire Auswahl von Bewerber_innen sichergestellt werden.Erhöhung der ValiditätDas Shortlisting in Phase 1 kürzt (hoffentlich) die Menge an Bewerber_innen auf eine übersichtliche Anzahl. Um das Shortlisting so einfach wie möglich zu machen, schlagen Gärtner et al. (2023) vor, dass studentische Hilfskräfte Angaben von Bewerber_innen in eine Maske eintragen, ein Algorithmus die Punkte der Bewerber_innen errechnet und dann mit Anwendung einer Schwelle nur die besten ca. acht Bewerber_innen zu Phase 2 einlädt. Dieses Vorgehen ist vielversprechend, birgt allerdings zwei Gefahren.Erstens, selbst wenn die zu Rate gezogenen Kriterien valide sind, bleibt im jetzigen System unklar, zu welchen Aspekten der Forschungsleistung ein_e Bewerber_in beigetragen hat. Bewerber_innen können alle Forschungsleistungen einreichen, zu denen sie wesentliche Beiträge geleistet haben, also eine (Ko–)‌Autor_innenschaft haben. Hier ergebt sich eine Gefahr, die sich an der immer wichtiger werdenden Big Team Science verdeutlichen lässt (Coles, DeBruine, Azevedo, Baumgartner & Frank, 2023), sich aber auf jegliche Art der (Ko–)‌Autor_innenschaft übertragen lässt. So erhalten beispielsweis Ko-Autor_innen eines Big Team Science Projekts selbst bei minimalem Beitrag die gleiche Punktzahl wie der / die Initiator_in des Projekts. Wegen des hohen Aufwands dieses Projekt zu leiten, konnte der / die Initiator_in wahrscheinlich kaum ein anderes Projekt parallel leiten, erreicht dann in der Summe weniger Punkte als die anderen Bewerber_innen, die dafür noch Zeit hatten, und wird nicht eingeladen. Das wäre unserer Meinung nach eine invalide Entscheidung.Wir schlagen daher vor, ausschließlich für die Kriterien Punkte zu verteilen, zu denen ein:e Bewerber_in auch einen wesentlichen Beitrag geleistet hat. Bspw. würde nur ein Punkt für eine Präregistrierung vergeben, wenn der / ‌die Bewerber_in eben auch die Präregistierung wesentlich mit erarbeitet hat. Diese Instruktion könnte den Bewerber_innen beim Beantworten der Kriterien gegeben werden. Damit wäre der Punktwert eines / einer Bewerbers / Bewerberin eher im Einklang mit der tatsächlichen Forschungsleistung und damit valider.Zweitens, wir sehen es kritisch, die Schwelle für die Einladung von Bewerber_innen für Phase 2 davon abhängig zu machen, welche Verteilung von Punkten im Pool der Bewerber_innen vorliegt. Es ist davon auszugehen, dass die von Gärtner et al. (2022) aufgelisteten Kriterien in Zukunft von einer Vielzahl von Bewerber_innen in den meisten Forschungsleistungen erfüllt werden (für den positiven Trend bei Publikationen, siehe bspw. Motyl et al., 2017). Journale, Software- und Daten-Repositorien verlangen die Einhaltung dieser Kriterien zunehmend. Unterschiede zwischen einer Vielzahl von Bewerber_innen mit durchschnittlich vielen Punkten sind dann in gewisser Weise nur Messfehler, womöglich verursacht durch unterschiedliche Formate von Forschungsleistungen, die durch das Punktesystem nur unzulänglich abgedeckt werden (bspw. theoretische Artikel). Und gerade solche Unterschiede können durch algorithmisches Auszählen von Punkten nicht adäquat berücksichtigt werden.Wir schlagen daher vor, die Schwelle für die weitere Berücksichtigung von Bewerber_innen im Vorfeld festzulegen und alle Bewerber_innen zu berücksichtigen, die diese Schwelle überschreiten. Welche weiteren Kriterien entscheiden dann, welche acht Bewerber_innen für Phase 2 eingeladen werden? Hier sehen wir, wie Gärtner et al. (2023), neben Forschungsleistungen auch andere Bewertungsdimensionen (d. h., Lehre, Führung, akademische Selbstverwaltung und gesellschaftlicher Impact) als entscheidend an. Auch dazu gilt es, diese Dimensionen und ihre Wichtung transparent bei Ausschreibung einer Stelle bekannt zu geben. Das impliziert auch, dass Qualifikationen neben den reinen Forschungsleistungen nicht zu unverbindlichen Variablen werden, deren Gewichtung in Berufungskommissionen je nach subjektiver Passung verschoben werden. Wir erwarten, dass zukünftig gerade auf diesen Bewertungsdimensionen weitaus mehr Unterschiede zwischen Bewerber_innen existieren werden, die, je nach Stellenprofil, entscheidenden Einfluss auf eine Berufung haben sollten. Daher halten wir es für eine zentrale Aufgabe der DGPs, in naher Zukunft ähnlich innovative Wege der Quantifizierung dieser Bewertungsdimensionen auszuarbeiten, wie Gärtner et al. (2023) es für Forschungsleistungen bereits getan haben.LiteraturColes, N. A., DeBruine, L. M., Azevedo, F., Baumgartner, H. A. & Frank, M. C. (2023). ‘Big team’ science challenges us to reconsider authorship. Nature Human Behaviour. https://doi.org/10.1038/s41562-023-01572-2 First citation in articleCrossref, Google ScholarGärtner, A., Leising, D. & Schönbrodt, F. (2023). Empfehlungen zur Bewertung wissenschaftlicher Leistungen bei Berufungsverfahren in der Psychologie. Psychologische Rundschau, 74, 166 – 174. https://doi.org/10.1026/0033-3042/a000630 First citation in articleAbstract, Google ScholarGärtner, A., Leising, D. & Schönbrodt, F. D. (2022). Responsible Research Assessment II: A specific proposal for hiring and promotion in psychology. [PsyArXiv Preprint online]. https://doi.org/10.31234/osf.io/5yexm First citation in articleCrossref, Google ScholarMotyl, M., Demos, A. P., Carsel, T. S., Hanson, B. E., Melton, Z. J., Mueller, A. B. et al. (2017). The state of social and personality science: Rotten to the core, not so bad, getting better, or getting worse? Journal of Personality and Social Psychology, 113 (1), 34 – 58. https://doi.org/10.1037/pspa0000084 First citation in articleCrossref, Google ScholarSchönbrodt, F. D., Gärtner, A., Frank, M., Gollwitzer, M., Ihle, M., Mischkowski, D. et al. (2022). Responsible Research Assessment I: Implementing DORA for hiring and promotion in psychology. [PsyArXiv Preprint online]. https://doi.org/10.31234/osf.io/rgh5b First citation in articleCrossref, Google ScholarFiguresReferencesRelatedDetails Diskussionsforum: Empfehlungen zur Bewertung wissenschaftlicher Leistungen bei Berufungsverfahren in der PsychologieVolume 74Issue 3Juli 2023ISSN: 0033-3042eISSN: 2190-6238 InformationPsychologische Rundschau (2023), 74, pp. 187-190 https://doi.org/10.1026/0033-3042/a000641.© 2023Hogrefe VerlagPDF download