Ob Phänomene des Weltalls, Fortschritte in der Medizin oder Erkenntnisse über das gesellschaftliche Zusammenleben: Unser Weltbild ist geprägt von dem, was Wissenschaftler herausfinden und veröffentlichen. Die Ergebnisse ihrer Studien beeinflussen die unterschiedlichsten Bereiche unserer Gesellschaft – wir verlassen uns auf sie. Zu Recht? Fälle von Irrtümern, Manipulationen und sogar Fälschungen zeigen immer wieder, dass auch Forscher und die von ihnen publizierten Arbeiten nicht fehlerfrei sind. Colin Camerer vom California Institute of Technology in Pasadena und seine Kollegen haben nun untersucht, wie es speziell um die Verlässlichkeit der Sozialwissenschaften bestellt ist. Sie wollten wissen: Lassen sich Ergebnisse aus diesem Forschungsbereich von unabhängiger Seite bestätigen?
Um das herauszufinden, nahm sich das Wissenschaftlerteam 21 sozialwissenschaftliche Studien vor – Untersuchungen, die zwischen 2010 und 2015 in den zwei renommiertesten wissenschaftlichen Fachzeitschriften “Nature” und “Science” veröffentlicht worden waren. Die zentralen Ergebnisse dieser vermeintlich hochkarätigen Experimente versuchten die Forscher zu reproduzieren. Um eine möglichst deckungsgleiche Durchführung zu gewährleisten, bekamen sie vorab die Materialien und Protokolle von fast allen Originalstudien zur Verfügung gestellt. “Um eine hohe statistische Trennschärfe zu gewährleisten, war der durchschnittliche Stichprobenumfang der Replikationsstudien zudem etwa fünfmal größer als der durchschnittliche Stichprobenumfang der Originalstudien”, berichtet Mitautor Felix Holzmeister von der Universität Innsbruck.
Replikation gescheitert
Das Ergebnis der Wiederholungsversuche: Bei 13 der 21 Replikationen kamen die Wissenschaftler zu Ergebnissen, die mit dem ursprünglichen Resultat übereinstimmten. In acht Fällen fanden sie allerdings keinen signifikanten Beleg für die veröffentlichten Ergebnisse. Zudem zeigte sich: Insgesamt waren die in den Replikationsstudien bestätigten Effekte deutlich geringer als beim Original – die Forscher kamen im Durchschnitt auf etwa 50 Prozent kleinere Effektgrößen. “Diese Ergebnisse verdeutlichen, dass ‘statistisch signifikante’ wissenschaftliche Erkenntnisse mit Vorsicht interpretiert werden sollten, solange sie nicht unabhängig reproduziert werden konnten. Und das auch dann, wenn sie in den renommiertesten Fachzeitschriften veröffentlicht werden”, konstatiert Holzmeisters Kollege Michael Kirchler.
Interessant dabei: Bevor sie ihre Versuche durchführten, ließen die Autoren andere Forscher eine Einschätzung über die Reproduzierbarkeit der jeweiligen Studien abgeben. Diese konnten im Rahmen eigens eingerichteter Online-Tools, sogenannter Prognosemärkte, Geld auf die Replikationsergebnisse wetten – und lagen dabei erstaunlich häufig richtig. Demnach sagten die Prognosemärkte für 18 der 21 Wiederholungen die Ergebnisse korrekt voraus. “Das deutet darauf hin, dass Forscher die Wahrscheinlichkeit einer erfolgreichen Replikation tatsächlich im Voraus einschätzen können”, sagt Kirchler. Ausschlaggebend dafür könnten ihm zufolge die Plausibilität des ursprünglichen Befundes und die Stärke des ursprünglichen statistischen Nachweises sein. “Der Einsatz von Prognosemärkten könnte demzufolge eine weitere Möglichkeit sein, die Entdeckung von neuen, zuverlässigen Forschungsergebnissen zu beschleunigen.”
