Forschung

Replikationsforschung in Kooperation mit FORRT

Hintergrund: Der „Scientific Record“ ist zu spannenden und überraschenden Befunden hin verzerrt. Replikationen, also die wiederholten Überprüfungen von veröffentlichten wissenschaftlichen Befunden, haben in den meisten Disziplinen, in denen sie sinnvoll und möglich sind, einen geringen Stellenwert. Zur Lösung dieser Probleme hat das MüCOS in Kooperation mit dem Framework for Open and Reproducible Research Training (FORRT) und gemeinsam mit Forschenden aus verschiedenen Disziplinen und mittels bestehender Datenbanken die weltweit größte Datenbank wissenschaftlicher Replikationsstudien erstellt. Die Daten werden live ausgewertet und sind frei verfügbar. Forschende können sich jederzeit durch die Ergänzung weiterer Replikationsbefunde beteiligen oder die frei verfügbaren Daten für eigene Untersuchungen nutzen.

Zentrale Ergebnisse: Mithilfe der Replikationsdatenbank lassen sich zum Beispiel Erfolgsraten von Replikationsversuchen schätzen. Insgesamt liegt die Replikationsrate aktuell bei 50%. Das bedeutet, dass nur 5 von 10 Replikationsstudien zum selben Ergebnis wie vorherige Untersuchungen gekommen sind.

Weiterführende Informationen: Alle Projektmaterialien und Informationen sind online über die Datenbank verfügbar.

FORRT Replication Database
Framework for Open and Reproducible Research Training

 

Präregistrierung von Forschung

Je nach Forschungsbereich kann Präregistrierung primär der Eliminierung von Freiheitsgraden aber auch der Dokumentation eines non-teleologischen Prozess‘ dienen. Wie inhaltliche Definitionen und praktische Umsetzungen in Form von Templates sich zwischen Bereichen (Sozial-, Geistes-, oder Naturwissenschaften) und Vorgehensweisen (konfirmatorisch vs. exploratorisch) unterscheiden untersuchen wir. Dabei sammeln wir Freiheitsgrade und zu dokumentierende Punkte mittels Anforderungskatalogen, entwickeln Leitfäden, und erstellen ein interdisziplinäres Manual.

Innovative Publikationsmodelle

Obgleich Fehlschläge – nicht bestätigte Hypothesen, unpassende Theorien, problembehaftete Methoden – nicht nur zum wissenschaftlichen Alltag gehören, sondern essenzieller Bestandteil wissenschaftlichen Fortschrittes sind, erfahren sie in vielen Bereichen wenig Beachtung (File-Drawer Problem). Welche wissenschaftstheoretischen und empirischen Gründe das hat, diskutieren wir und beleuchten dabei ein interdisziplinäres Spektrum von Trial and Error.

Peer Community In

Das MüCOS unterstützt die Peer Community In (PCI) Initiative und ist Teil des PCI Netzwerkes. PCI ist eine von Wissenschaftler*innen geführte non-profit Organisation, welche einen alternativen und hochqualitativen Peer-Review Prozess anbietet, der unabhängig von kommerziellen Verlagen funktioniert. Mehr Informationen erhalten Sie in einem Erklärvideo. PCIs existieren aktuell zu über 15 wissenschaftlichen Disziplinen und weitere PCIs befinden sich aktuell in der Entwicklung: 
Übersicht über PCIs nach wissenschaftlichen Disziplinen

Mega-Science / Dynamic Meta-Analyses / Cumulative Science

Einige wissenschaftliche Disziplinen haben ihr Verständnis von kumulativer Wissenschaft dahingehend revidiert, dass die Akkumulation von Wissen auf Ebene der erhobenen Daten statt nur auf Ebene der veröffentlichten Ergebnisse geschieht. Wir entwickeln eine Taxonomie, für kumulative Methoden, schlagen Softwarelösungen vor, und sammeln Beispielstrategien wie wissenschaftliche Erkenntnisse systematisch und dynamisch aggregiert werden können.

Transparenz versus Vertrauen

Die Transparenz und Vertrauenswürdigkeit wissenschaftlicher Ergebnisse hat sich unter dem Eindruck der Replizierbarkeitskrise und den daraus resultierenden Open Science-Ansätzen zu einer zentralen Aufgabe des wissenschaftlichen Agierens aber auch der Meta-Science entwickelt: Dabei schafft Transparenz durch die erhöhte Überprüfbarkeit Vertrauen, gleichzeitig kann sie aber auch zu Unsicherheit und Misstrauen führen und für eine gezielt missbräuchliche Kommunikation wissenschaftlicher Ergebnisse genutzt werden. Im Hinblick auf verstärkte Tendenzen der Wissenschaftsskepsis bis hin zur Wissenschaftsfeindlichkeit in der Bevölkerung, beispielsweise im Kontext der COVID-19-Pandemie oder der Klimakrise, verbinden wir Forschung zur Transparenz und Replizierbarkeit wissenschaftlicher Befunde mit wissenschaftskommunikativen Analysen zum Vertrauen in Wissenschaft.

Publikationen

• Adler, S. J., Röseler, L., & Schöniger, M. K. (2023). A toolbox to evaluate the trustworthiness of published findings. Journal of Business Research, 167, 114189. https://doi.org/10.1016/j.jbusres.2023.114189
• Back, M. D. (2019). Editorial: Increasing scientific quality in the expanding field of personality science. European Journal of Personality, 33, 3-6. https://doi.org/10.1002/per.2192 pdf
• Back, M. D. (2020). Editorial: A brief wish list for personality research. European Journal of Personality, 34, 3–7. https://doi.org/10.1002/per.2236 pdf
• Geukes, K., Schönbrodt, F. D., Utesch, T. , Geukes, S., & Back, M. D. (2016). Wege aus der Vertrauenskrise – Individuelle Schritte hin zu verlässlicher und offener Forschung [Ways out of the crisis of confidence – Individual steps towards reliable and open science]. Zeitschrift für Sportpsychologie, 23, 99-109. https://doi.org/10.1026/1612-5010/a000167 pdf
• Landy, J. F., Jia, M. L., Ding, I. L., Viganola, D., Tierney, W., Dreber, A., Johannesson, M., Pfeiffer, T., Ebersole, C. R., Gronau, Q. F., Ly, A., van den Bergh, D., Marsman, M., Derks, K., Wagenmakers, E.-J., Proctor, A., Bartels, D. M., Bauman, C. W., Brady, W. J., . . . Röseler, L., . . . Uhlmann, E. L. (2020). Crowdsourcing hypothesis tests: Making transparent how design choices shape research results. Psychological Bulletin, 146(5), 451–479. https://doi.org/10.1037/bul0000220
• Röseler, L., & Schütz, A. (2022). Open Science. In A. Schütz, M. Brand, S. Steins-Loeber, M. Baumann, J. Born, V. Brandstätter, C.-C. Carbon, P. M. Gollwitzer, M. Hallschmid, S. Lautenbacher, L. Laux, B. Marcus, K. Moser, K. I. Paul, H. Plessner, F. Renkewitz, K.-H. Renner, K. Rentzsch, K. Rothermund, . . . S. Steins-Löber (Eds.), Psychologie: Eine Einführung in ihre Grundlagen und Anwendungsfelder (6., überarbeitete Auflage, pp. 187–198). Kohlhammer.
• Röseler, L., Weber, L., Helgerth, K., Stich, E., Günther, M., Tegethoff, P., Wagner, F., Antunovic, M., Barrera-Lemarchand, F., Halali, E., Ioannidis, K., Genschow, O., Milstein, N., Molden, D. C., Papenmeier, F., Pavlovic, Z., Rinn, R., Schreiter, M. L., Zimdahl, M. F., . . . Schütz, A. (2022). The Open Anchoring Quest Dataset: Anchored Estimates from 96 Studies on Anchoring Effects. Journal of Open Psychology Data, 10(1), 16. https://doi.org/10.5334/jopd.67
• Tierney, W., Hardy, J., Ebersole, C. R., Viganola, D., Clemente, E. G., Gordon, M., Hoogeveen, S., Haaf, J., Dreber, A., Johannesson, M., Pfeiffer, T., Huang, J. L., Vaughn, L. A., DeMarree, K., Igou, E. R., Chapman, H., Gantman, A., Vanaman, M., Wylie, J., . . . Röseler, L. . . . Uhlmann, E. L. (2021). A creative destruction approach to replication: Implicit work and sex morality across cultures. Journal of Experimental Social Psychology, 93, 104060. https://doi.org/10.1016/j.jesp.2020.104060
• Wunsch, K., Pixa, N. H., & Utesch, K. (2023). Open Science in German Sport Psychology: State of the art and future directions. Zeitschrift für Sportpsychologie, 30(4), 156-166. https://doi.org/10.1026/1612-5010/a000406 pdf

Pre-Prints

• Röseler, L., Kaiser, L., Doetsch, C. A., Klett, N., Seida, C., Schütz, A., … Zhang, Y., Mr. (2024). The Replication Database: Documenting the Replicability of Psychological Science. https://doi.org/10.31222/osf.io/me2ub
• Röseler, L. (2023). Predicting Replication Rates with Z-Curve: A Brief Exploratory Validation Study Using the Replication Database. https://doi.org/10.31222/osf.io/ewb2t
• Röseler, L., Carbon, C. C., & Schütz, A. (2023). Stellungnahme zum Positionspapier der Psychologie-Fachschaften-Konferenz (PsyFaKo e.V.) zum Thema Autor*innenschaft. Advance online publication. https://doi.org/10.31234/osf.io/cbkzp
• Röseler, L., Gendlina, T., Krapp, J., Labusch, N., & Schütz, A. (2022). Successes and Failures of Replications: A Meta-Analysis of Independent Replication Studies Based on the OSF Registries. Advance online publication. https://doi.org/10.31222/osf.io/8psw2
• Röseler, L., Kaiser, L., Doetsch, C., Klett, N., Krapp, J., Seida, C., Schütz, A., Barth, C., Cummins, J., Dienlin, T., Elsherif, M., Förster, N., Genschow, O., Gnambs, T., Hartmann, H., Hilbert, L., Holgado, D., Hussey, I., Korbmacher, M., Kulke, L., Liu, Y., Lohkamp, F., Lou, N., Oomen, D., Papenmeier, F., Paruzel-Czachura, M., Pavlov, Y., Pavlović, Z., Pypno, K., Rausch, M., Rebholz, T., Ross, R., Thürmer, L., Vaughn, L. (2023). ReD: Replication Database, Version 0.4.0. https://dx.doi.org/10.17605/OSF.IO/9r62x