Wie verlässlich ist die Sozialwissenschaft? - wissenschaft.de
Anzeige
Anzeige

Gesellschaft+Psychologie

Wie verlässlich ist die Sozialwissenschaft?

Wissenschaftliche Studienergebnisse prägen unser Bild von der Welt - doch wie verlässlich sind sie? (Foto: Anyaberkut/ istock)

Wissenschaftliche Ergebnisse sollen verlässlich und objektiv sein – doch nicht immer sind sie das auch. Dieses Problem verdeutlicht nun erneut ein interessantes Forschungsprojekt: Wissenschaftler haben versucht, sozialwissenschaftliche Studien zu wiederholen und die Befunde der in renommierten Fachzeitschriften publizierten Arbeiten zu bestätigen. Das Ergebnis: In acht von 21 Fällen gelang ihnen dies nicht – und selbst wenn doch, waren die gemessenen Effekte oft deutlich geringer als beim Original. Dies zeigt, wie wichtig die Replikation wissenschaftlicher Untersuchungen für die Zuverlässigkeit der Forschung ist.

Ob Phänomene des Weltalls, Fortschritte in der Medizin oder Erkenntnisse über das gesellschaftliche Zusammenleben: Unser Weltbild ist geprägt von dem, was Wissenschaftler herausfinden und veröffentlichen. Die Ergebnisse ihrer Studien beeinflussen die unterschiedlichsten Bereiche unserer Gesellschaft – wir verlassen uns auf sie. Zu Recht? Fälle von Irrtümern, Manipulationen und sogar Fälschungen zeigen immer wieder, dass auch Forscher und die von ihnen publizierten Arbeiten nicht fehlerfrei sind. Colin Camerer vom California Institute of Technology in Pasadena und seine Kollegen haben nun untersucht, wie es speziell um die Verlässlichkeit der Sozialwissenschaften bestellt ist. Sie wollten wissen: Lassen sich Ergebnisse aus diesem Forschungsbereich von unabhängiger Seite bestätigen?

Um das herauszufinden, nahm sich das Wissenschaftlerteam 21 sozialwissenschaftliche Studien vor – Untersuchungen, die zwischen 2010 und 2015 in den zwei renommiertesten wissenschaftlichen Fachzeitschriften „Nature“ und „Science“ veröffentlicht worden waren. Die zentralen Ergebnisse dieser vermeintlich hochkarätigen Experimente versuchten die Forscher zu reproduzieren. Um eine möglichst deckungsgleiche Durchführung zu gewährleisten, bekamen sie vorab die Materialien und Protokolle von fast allen Originalstudien zur Verfügung gestellt. „Um eine hohe statistische Trennschärfe zu gewährleisten, war der durchschnittliche Stichprobenumfang der Replikationsstudien zudem etwa fünfmal größer als der durchschnittliche Stichprobenumfang der Originalstudien“, berichtet Mitautor Felix Holzmeister von der Universität Innsbruck.

Replikation gescheitert

Das Ergebnis der Wiederholungsversuche: Bei 13 der 21 Replikationen kamen die Wissenschaftler zu Ergebnissen, die mit dem ursprünglichen Resultat übereinstimmten. In acht Fällen fanden sie allerdings keinen signifikanten Beleg für die veröffentlichten Ergebnisse. Zudem zeigte sich: Insgesamt waren die in den Replikationsstudien bestätigten Effekte deutlich geringer als beim Original – die Forscher kamen im Durchschnitt auf etwa 50 Prozent kleinere Effektgrößen. „Diese Ergebnisse verdeutlichen, dass ’statistisch signifikante‘ wissenschaftliche Erkenntnisse mit Vorsicht interpretiert werden sollten, solange sie nicht unabhängig reproduziert werden konnten. Und das auch dann, wenn sie in den renommiertesten Fachzeitschriften veröffentlicht werden“, konstatiert Holzmeisters Kollege Michael Kirchler.

Interessant dabei: Bevor sie ihre Versuche durchführten, ließen die Autoren andere Forscher eine Einschätzung über die Reproduzierbarkeit der jeweiligen Studien abgeben. Diese konnten im Rahmen eigens eingerichteter Online-Tools, sogenannter Prognosemärkte, Geld auf die Replikationsergebnisse wetten – und lagen dabei erstaunlich häufig richtig. Demnach sagten die Prognosemärkte für 18 der 21 Wiederholungen die Ergebnisse korrekt voraus. „Das deutet darauf hin, dass Forscher die Wahrscheinlichkeit einer erfolgreichen Replikation tatsächlich im Voraus einschätzen können“, sagt Kirchler. Ausschlaggebend dafür könnten ihm zufolge die Plausibilität des ursprünglichen Befundes und die Stärke des ursprünglichen statistischen Nachweises sein. „Der Einsatz von Prognosemärkten könnte demzufolge eine weitere Möglichkeit sein, die Entdeckung von neuen, zuverlässigen Forschungsergebnissen zu beschleunigen.“

Anzeige

Selbstkontrolle als Stärke

Dennoch müssen die nicht reproduzierten Ergebnisse nicht zwangsläufig falsch sein, wie das Forscherteam betont. „Es ist möglich, dass Fehler in der Replikation oder Unterschiede zwischen der Original- und der Replikationsstudie verantwortlich für ‚Reproduktionsausfälle‘ sind. Die Tatsache, dass die Marktteilnehmer in der Lage waren, Erfolg und Misserfolg im Vorfeld zu prognostizieren, macht diese Erklärung aber weniger plausibel“, sagt Holzmeister. Doch was bedeuten diese Ergebnisse nun für das System Wissenschaft? „Man könnte zu dem Schluss kommen, dass die Wissenschaft in die falsche Richtung geht. Die größte Stärke der Wissenschaft aber ist ihre ständige Selbstkontrolle, um Probleme zu erkennen und zu korrigieren“, merkt Mitautor Brian Nosek von der University of Virginia in Charlottesville an.

Das groß angelegte Replikationsprojekt sei nur ein Teil einer laufenden Reform der Forschungspraktiken, betont das Team. Forscher, Förderinstitutionen, Fachjournale und Gesellschaften ändern derzeit ihre Politik und Praxis, um die Forschungskultur zu mehr Transparenz, wissenschaftlicher Strenge und Reproduzierbarkeit zu bewegen. Bleibt zu hoffen, dass dies die Glaubwürdigkeit veröffentlichter Forschung in Zukunft verbessern kann.

Quelle: Colin Camerer (California Institute of Technology, Pasadena) et al., Nature Human Behaviour, doi: 10.1038/s41562-018-0399-z

Anzeige

bild der wissenschaft | Aktuelles Heft

Liken und keine News mehr verpassen!

Anzeige

Marianengraben schluckt Wasser

Subduktionszone transportiert weit mehr Wasser in den Erdmantel als gedacht weiter

Supernova-Vorgänger aufgespürt

Astronomen finden erstmals möglichen Vorgängerstern einer Supernova vom Typ 1c weiter

Ernährung: Wie viel Fett ist gesund?

Die ideale und allgemeingültige "Formel" für die gesunde Ernährung gibt es nicht weiter

Campi Flegrei: Erwacht der Supervulkan?

Phlegräische Felder bei Neapel könnten auf einen neuen Caldera-Ausbruch zusteuern weiter

Wissenschaftslexikon

Kunst|schatz  〈m. 1u; meist Pl.〉 1 wertvoller Kunstgegenstand 2 Sammlung wertvoller Kunstwerke ... mehr

Fle|der|maus|fisch  〈m. 1; Zool.〉 Angehöriger einer Familie der Barschartigen mit arm– u. flügelartigen Brustflossen: Mathidae

Un|ter|fa|mi|lie  〈[–lj] f. 19; in der biolog. Systematik〉 zwischen Familie u. Gattung liegende Kategorie

» im Lexikon stöbern
Anzeige
Anzeige