Wissenschaft: Gleiche Daten – unterschiedliche Ergebnisse? - wissenschaft.de
Anzeige
Anzeige

Gesellschaft+Psychologie Gesundheit+Medizin

Wissenschaft: Gleiche Daten – unterschiedliche Ergebnisse?

fMRI
Aufnahme des Gehirns mittels funktioneller Resonanztomographie. (Bild: akesak/ iStock)

Die Wissenschaft lebt von der kritischen Selbstkontrolle – Ergebnisse und Analysen sollten reproduzierbar sein. Wie gut dies funktioniert, haben nun Wissenschaftler in einem Experiment überprüft: Sie ließen 70 Forscherteams unabhängig voneinander dieselben 108 Hirnscan-Datensätze analysieren. Aufgabe war es, anhand der Daten neun Hypothesen zu bestätigen oder zu widerlegen. Es zeigte sich: Die Zwischenergebnisse nach der Datenauswertung waren noch relativ ähnlich, bei den Hypothesen gab es bei fünf von neun erhebliche Diskrepanzen. Gerade bei komplexen Daten seien daher Transparenz und kritische Überprüfung wichtig, so die Forscher.

Wenn es um komplexe Fakten oder neue Phänomene geht, arbeiten sich auch Wissenschaftler oft erst schrittweise zu einem Verständnis des ganzen Bildes vor. Die aktuelle Corona-Pandemie illustriert diesen typischen Prozess des Erkenntnisgewinns sehr deutlich: Anfangs war nur wenig über das Virus und seine Auswirkungen bekannt und die Daten beruhten auf kleinen, oft lokalen Studien. In dem Maße, indem mehr Daten hinzugekommen sind, haben sich einige anfängliche Vermutungen erhärtet, andere mussten revidiert oder zurückgezogen werden. Im Laufe der Pandemie haben sich dadurch auch die Aussagen und Empfehlungen der Experten in Teilen gewandelt – Stichwort Masken. In der Bevölkerung sorgte dies teilweise für Unverständnis und Verunsicherung. Doch die Fähigkeit, auf Basis neuer Erkenntnisse alte Annahmen immer wieder zu überprüfen und gegebenenfalls zu korrigieren, ist letztlich der Motor des wissenschaftlichen Fortschritts – und eine wichtige Säule der internen Qualitätskontrolle.

108 Hirnscans und neun Hypothesen

Doch was passiert, wenn 70 Forscherteams unabhängig voneinander dieselben Datensätze analysieren, um dieselben Hypothesen zu testen? Das hat ein internationales Forscherteam nun ganz praktisch ausprobiert. „Der wissenschaftliche Prozess umfasst viele Schritte: Eine Theorie wird entwickelt, Hypothesen erstellt, schließlich Daten gesammelt und ausgewertet“, erklärt Co-Autor Simon Eickhoff vom Forschungszentrum Jülich. „Jeder dieser Schritte kann die endgültigen Schlussfolgerungen potenziell beeinflussen, aber in welchem Umfang? Werden zum Beispiel verschiedene Forscher auf der Grundlage derselben Daten und Hypothesen zu unterschiedlichen Schlussfolgerungen kommen?“ Um das zu testen, wählten die Forscher unter Leitung von Tom Schonberg von der Universität Tel Aviv Aufnahmen der Hirnaktivität von 108 Versuchspersonen aus, die an einer neuropsychologischen Studie teilgenommen hatten. Diese mit funktioneller Magnetresonanztomographie (fMRT) gemachten Aufnahmen zeigten, welche Hirnareale aktiv waren, wenn die Teilnehmer bestimmte finanzielle Entscheidungen trafen.

Die Wissenschaftler verschickten diese 108 Datensätze an 70 Forscherteams in der ganzen Welt. Jedes Team analysierte diese Daten mit ihren jeweiligen Standard-Methoden und überprüften anhand der Ergebnisse neun allen vorgegebene Hypothesen. Als Endergebnis sollten sie die Hypothesen jeweils mit Ja oder Nein beantworten. „Bei jeder dieser Hypothesen wurde gefragt, wie sich bestimmte Aspekte der Entscheidungsfindung auf die Hirnaktivität auswirken“, erläutert Eickhoff. Die Analyseteams hatten drei Monate Zeit, um die Daten auszuwerten. Danach lieferten sie Schonberg und seinem Team ihre Resultate für die verschiedenen Hypothesen, ihre Zwischenergebnisse sowie detaillierte Informationen über ihr Vorgehen bei der Analyse.

Abweichungen in den Schlussfolgerungen trotz ähnlicher Analyseergebnisse

Die Vergleiche aller Ergebnisse ergaben teils deutliche Unterschiede: Bei fünf der Hypothesen wichen die Schlussfolgerungen der Teams erheblich voneinander ab, für die restlichen vier herrschte tendenziell Übereinstimmung. „Interessanterweise zeigen die den Analysen zugrundeliegenden von den Teams aufbereiteten Datensätze noch eine relativ große Übereinstimmung zwischen allen Teams“, erläutert Co-Autor Felix Holzmeister von der Universität Innsbruck. Das bestätigte auch eine Metaanalyse, die alle von den Teams durchgeführten Datenanalysen und Zwischenergebnisse verglich. Sie ergab eine hohe Konvergenz der Auswertungen und der auf den Daten beruhenden Hirnaktivierungskarten. Doch weil die Forscherteams diese komplexen Ergebnisse auf einfache Ja-Nein-Entscheidungen bezüglich der neun Hypothesen reduzieren mussten, traten die Abweichungen auf. „Dieses spezielle Problem der Analyse betrifft alle Bereiche, in denen mit hochkomplexen Daten gearbeitet wird, die am Ende auf ein nacktes Ja-Nein-Resultat reduziert werden müssen“, erklärt Eickhoff.

Anzeige

Damit unterstreicht diese Studie, dass die Art der Analyse und Auswertung gerade bei komplexen Daten einen Einfluss auf das Ergebnis haben kann. „Der Grund dafür ist, dass Forscher bei so komplexen Datensätzen auf dem Weg zum Ergebnis viele einzelne Entscheidungen treffen müssen, wie die vorliegenden Daten verarbeitet, geordnet, modelliert, analysiert werden“, so Eickhoff. Gleichzeitig bestätigt die Untersuchung, wie wichtig es ist, dass Rohdaten geteilt und die Analysen und Schlussfolgerungen von Fachkollegen wiederholt und überprüft werden – ein in vielen Fachgebieten gängiger Prozess. „Dieser Prozess der Selbstreflexion und der kontinuierlichen Verbesserung der eigenen Methoden ist einzigartig und zeichnet die Wissenschaft aus“, betonen die Co-Autoren Michael Kirchler und Jürgen Huber von der Universität Innsbruck. Die Tatsache, dass fast 200 Wissenschaftler bereit waren, zum Teil hunderte Stunden in dieses Experiment zu investieren, zeige, wie stark die Bereitschaft dazu sei. „Diese Studie unterstreicht aber auch, wie wichtig es ist, dass wir Wissenschaftler uns der möglichen Diskrepanzen bei komplexen Fragestellungen immer bewusst sind“, sagt Huber.

Quelle: Tom Schonberg (Tel Aviv University) et al., Nature, doi: 10.1038/s41586-020-2314-9

Anzeige

bild der wissenschaft | Aktuelles Heft

Anzeige

Aktueller Buchtipp

Sonderpublikation in Zusammenarbeit  mit der Baden-Württemberg Stiftung
Jetzt ist morgen
Wie Forscher aus dem Südwesten die digitale Zukunft gestalten

Wissenschaftslexikon

Aus|puff|klap|pe  〈f. 19; bei Kfz〉 Drosselklappe zum Verschließen des Auspuffs schwerer Fahrzeuge, damit der Motor als Bremse (Motorbremse) wirkt

Wurm  I 〈m. 2u〉 1 〈Zool.〉 Angehöriger einer Gruppe wirbelloser Tiere verschiedener Gestalt, zumeist gestreckt, ohne Glieder: Vermes, Helminthes 2 〈umg.〉 Made ... mehr

Wach|tel  I 〈f. 21; Zool.〉 unscheinbarer, fasanenartiger Hühnervogel auf Wiesen, Feldern u. Ödland: Coturnix coturnix II 〈m. 5; kurz für〉 Wachtelhund ... mehr

» im Lexikon stöbern
Anzeige
Anzeige