„Wir sehen einen Wandel hin zu mehr Transparenz und höherer Qualität“

Wie aussagekräftig die Ergebnisse wissenschaftlicher Studien sind, zeigt sich unter anderem anhand ihrer Reproduzierbarkeit. Bei den „Reproduction Games Münster“ am 25. September (Freitag) treffen sich Forscherinnen und Forscher aller Karrierephasen ab dem Masterstudium, um bereits veröffentlichte Studien auf den Prüfstand zu stellen. Veranstalter sind das Münster Center for Open Science (MüCOS), das Center for Data Science and Complexity, das Service Center for Digital Humanities und das Institut für Politikwissenschaft der Universität Münster. MüCOS-Geschäftsführer Dr. Lukas Röseler gibt im Interview mit Christina Hoppenbrock Einblicke in die Veranstaltung und beschreibt Strategien zum Umgang mit dem Anspruch auf Reproduzierbarkeit.

 

Welche wissenschaftlichen Arbeiten kommen auf dem Prüfstand?

Reproduktion bedeutet: Die Ergebnisse einer Studie werden auf der Basis derselben Daten geprüft.  Infrage kommen also prinzipiell alle Studien, bei denen Daten verfügbar sind. Das ist vor allem bei quantitativen Studien der Fall. Wir fokussieren uns dabei auf Befunde, die für die bei der Veranstaltung vertretenen Disziplinen, beispielsweise Politikwissenschaft, Psychologie, digitale Geisteswissenschaften oder Physik, relevant sind und die den Anspruch erheben, reproduzierbar zu sein. Das können beispielsweise alle Studien aus einer angesehenen Zeitschrift sein.

Und wie läuft eine solche Überprüfung während der Veranstaltung ab?

Im Vorfeld suchen sich die Teams eine Studie aus. Wir stellen dabei sicher, dass die Daten verfügbar sind und dokumentieren, sofern möglich, mit welcher Software die Daten in der Originalstudie analysiert wurden. Ist auch der Analysecode verfügbar, wird eine sogenannte numerische Reproduktion durchgeführt. Es wird also geschaut, ob bei identischen Daten und identischem Code dieselben Werte berechnet werden. Wenn der Code nicht verfügbar ist, muss die Analyse rekonstruiert werden. Im Anschluss führen die Teilnehmerinnen und Teilnehmer Robustheitsanalysen durch – sie prüfen über einen alternativen Analyseweg, ob sie dieselben Schlussfolgerungen wie in der Zielstudie stützen können. Die Ergebnisse halten wir in einem Bericht fest und nehmen sie in die weltweit größte kuratierte Datenbank zu Reproduktions- und Replikationsversuchen auf. Über diverse Softwaretools wie ein Plugin für das Literaturverwaltungsprogramm ,Zotero‘ werden dann andere Forscherinnen und Forscher auf die Reproduktionsversuche aufmerksam gemacht.

Alle Paper, um die es hier geht, haben ein Peer-Review-Verfahren durchlaufen, also eine Begutachtung durch erfahrene Wissenschaftlerinnen und Wissenschaftler. Haben die Reviewer, die die Studien begutachten, ihre Arbeit nicht richtig gemacht?

Befunde auf Reproduzierbarkeit zu prüfen, ist in den meisten Disziplinen nicht Teil der Qualitätssicherung. Bei der Bewertung von Forschung kommt es häufig auf die Namen der Zeitschriften, Publikationszahlen und Zitationszahlen an. Viel zu publizieren, wird als etwas Positives gewertet. Das führt aber auch zu einem höheren Begutachtungsbedarf. Anzahl, Qualität und Ausführlichkeit von Gutachten spielen für die Forschungsbewertung keine Rolle. In dieser Situation von Reviewern zu fordern, Daten und Ergebnisse zu prüfen, würde die Suche nach Freiwilligen erschweren und die Begutachtungszeiten erhöhen. Einige Zeitschriften, vor allem von Verlagen unabhängige, haben redaktionelle Reproduzierbarkeitsprüfungen allerdings bereits erfolgreich implementiert. Darunter ist auch unsere eigene neue Zeitschrift ,Replication Research‘.

Aktuelle Studienergebnisse zeigen, dass neuere Paper eher reproduzierbar sind als ältere, und dass die Zugänglichkeit der Versuchsdaten die Reproduzierbarkeit verbessert. Ist das ein Zeichen dafür, dass sich auf dem Gebiet etwas tut?

Ja, auf fast allen Ebenen des wissenschaftlichen Systems sehen wir einen Wandel hin zu mehr Transparenz und höherer Qualität. Wissenschaftliche Gesellschaften führen Richtlinien zum Datenteilen ein, Geldgeber fordern Datenmanagementpläne und Institutionen stellen Infrastruktur bereit. Universitäre Zentren bieten Workshops an – und Forscherinnen und Forscher fordern einen verantwortungsvollen Umgang mit Daten. Damit sind geteilte, lizenzierte und gut dokumentierte Daten in einigen Feldern innerhalb weniger Jahre vom Luxus zur Grundausstattung wissenschaftlicher Arbeit geworden.

Von der Frage nach der Reproduzierbarkeit sind die meisten Forscherinnen und Forscher betroffen. Welchen Rat würden Sie ihnen geben?

Diskutieren Sie mit Kolleginnen und Kollegen, welche Rolle Reproduzierbarkeit in Ihrem eigenen Forschungsbereich hat und welche sie haben sollte. Wenn sie nicht nötig ist oder nicht in die Bewertung einfließt, kann das im schlimmsten Fall dazu führen, dass diejenigen, die gründlicher arbeiten, benachteiligt werden. Dann sollte man sich eher zusammen mit wissenschaftlichen Gemeinschaften und Organisationen mit dem Thema auseinandersetzen. Mein zweiter Rat: Wenn Sie auf anderen Befunden aufbauen, die den Anspruch auf Reproduzierbarkeit erheben, dann prüfen Sie diesen Anspruch. Wenn sich die Ergebnisse mit den Originaldaten nicht bestätigen lassen, dann möglicherweise auch nicht in einer neuen Studie.

Links zu dieser Meldung

• Münster Center for Open Science
• Center for Data Science and Complexity
• Service Center for Digital Humanities
• Die weltweit größte kuratierte Datenbank zu Reproduktions- und Replikationsversuchen: FORRT Library of Reproduction and Replication Attempts (FLoRA)
• Die Fachzeitschrift „Replication Research“
• Terminhinweis: Reproduzierbarkeits-Workshop für Forschende früher Karrierephasen