Tierstudien: Einfluss von Experimentatoren auf Ergebnisse weniger stark als erwartet
Seit mehr als zehn Jahren diskutieren Wissenschaftlerinnen und Wissenschaftler über die sogenannte Reproduzierbarkeitskrise: Forschungsergebnisse können häufig zu einem späteren Zeitpunkt und/oder in anderen Laboren nicht reproduziert werden, obwohl die Studien unter standardisierten Bedingungen durchgeführt werden. Dazu zählen in der tierexperimentellen Forschung die Verwendung genetisch identischer Versuchstiere, die Haltung der Tiere in gleich ausgestatteten Käfigen und ein einheitliches Vorgehen der Experimentatoren bei der Versuchsdurchführung. Die Wissenschaftler versuchen, als Ursache von nicht reproduzierbaren Ergebnissen sogenannte Störgrößen zu identifizieren. Als Störgröße Nummer eins gilt der Experimentator, also die Person, die das Experiment durchführt. Ein Team um die Verhaltensbiologinnen Dr. Vanessa von Kortzfleisch und Prof. Dr. Helene Richter von der Westfälischen Wilhelms-Universität (WWU) Münster hat genau diesen Faktor in Verhaltensexperimenten mit Mäusen an verschiedenen Standorten untersucht - ihre Studie ist jetzt in der Fachzeitschrift PLOS Biology erschienen.
Zur Überraschung der Wissenschaftler war der Einfluss der verschiedenen Experimentatoren auf die Ergebnisse der Versuche nicht so stark ausgeprägt, wie es frühere Studien gezeigt hatten. Dafür fanden die Forscher Hinweise auf andere Störgrößen. Eine deutlich größere Rolle als der Experimentator spielte der Aspekt, in welchem Labor der jeweilige Versuch stattfand. Unerwartet für das Forscherteam war auch das Ergebnis, dass der größte Anteil der Varianz auf bisher nicht erklärbare Unterschiede zwischen den einzelnen Mäusen zurückzuführen ist. Zum Teil betrug dieser Anteil an „unerklärter Varianz“ in den Daten zwischen 41 und 72 Prozent. „Dies ist besonders erstaunlich, wenn man bedenkt, dass die Tiere unter standardisierten Bedingungen innerhalb ihrer Kohorte – also vom selben Experimentator im selben Labor unter den exakt gleichen Bedingungen – getestet wurden“, unterstreicht Erstautorin Vanessa von Kortzfleisch.
Die Ergebnisse bedeuten nicht, dass der Experimentator als Faktor nicht entscheidend sein kann. Allerdings deuten sie darauf hin, dass die verschiedenen Versuchsbedingungen in den Laboren trotz standardisierter Bedingungen einen wesentlich größeren Einfluss haben als der Experimentator. Dazu könnten zum Beispiel kleine Unterschiede in der Geräuschkulisse oder im Geruch der Umgebung gehören. „Unsere Ergebnisse zeigen aber vor allem, dass biologische Variation eine zentrale Rolle in tierbasierten Studien spielt, selbst wenn die Tiere aus Inzuchtlinien stammen. Wir brauchen zukünftig bessere Strategien, um diese Variation kontrolliert im Versuchsdesign zu integrieren“, unterstreicht Vanessa von Kortzfleisch.
Zwölf Experimentatoren an drei Standorten
Zum Hintergrund: Entgegen dem Dogma der strikten Standardisierung gibt es alternative Vorschläge, um Störgrößen systematisch im Versuchsdesign zu integrieren. So könnte eine kontrollierte Variation der Versuchsbedingungen zu einer besseren Reproduzierbarkeit führen. Um zu untersuchen, ob eine Beteiligung mehrerer Experimentatoren die Aussagekraft von Ergebnissen und damit auch ihre Reproduzierbarkeit verbessern könnte, führten daher im Rahmen der aktuellen Studie zwölf verschiedene Experimentatoren in Münster, Osnabrück und Bern jeweils die gleichen etablierten Verhaltenstests an Mäusen zweier Inzuchtlinien durch. Solche Versuche werden in der biomedizinischen Forschung häufig eingesetzt, um aus dem Verhalten der Tiere Rückschlüsse auf genetisch bedingte Krankheitsursachen zu ziehen. Zum Beispiel überprüfen Forscher im sogenannten Open-Field-Test, ob eine Maus mutig oder ängstlich eine neue Umgebung erkundet.
Das Forscherteam betrachtete im Speziellen, ob ein strikt standardisiertes Versuchsdesign, bei dem ein einziger Experimentator alle Tiere testet, sich hinsichtlich der Reproduzierbarkeit der Ergebnisse von einem Versuchsdesign unterscheidet, in dem mehrere Experimentatoren die Tiere von mehreren Experimentatoren testen. Das Team verglich, bei welchem Versuchsdesign die Ergebnisse aus den drei unterschiedlichen Laboren konsistenter waren. Darüber hinaus untersuchte es, welche sonstigen Einflussfaktoren die Varianz in den Daten erklären können. Ein Fazit: Über die drei Standorte hinweg konnten die Forscher einige Ergebnisse nicht reproduzieren, unabhängig davon, ob der Versuch von nur einem Experimentator durchgeführt wurde oder mehrere Experimentatoren beteiligt waren.
An der Studie sind neben dem Team der Verhaltensbiologie in Münster Forscher der Universitäten Osnabrück und Bern (Schweiz), der Veterinärmedizinischen Universität Wien (Österreich) sowie der Firma AstraZeneca in Cambridge (Vereinigtes Königreich), beteiligt.
Förderung
Die Deutsche Forschungsgemeinschaft (DFG) unterstützte die Studie finanziell im Rahmen des Projekts „Standardisierung, Heterogenisierung und Reproduzierbarkeit von Ergebnissen aus Tierversuchen“ (Förderkennzeichen: RI 2488/3-1).
Originalveröffentlichung
Vanessa Tabea von Kortzfleisch, Oliver Ambrée, Natasha A. Karp, Neele Meyer, Janja Novak, Rupert Palme, Marianna Rosso, Chadi Touma, Hanno Würbel, Sylvia Kaiser, Norbert Sachser und S. Helene Richter (2022): Do multiple experimenters improve the reproducibility of animal studies? PLOS Biology 20(5): e3001564