Einmal ist keinmal

Forschungsergebnisse, die für Schlagzeilen sorgten: Fleischesser sind ungeselliger und egoistischer als Vegetarier. Eine unordentliche Umgebung, etwa eine Straße voller Müll, fördert Diskriminierung. Frauen sollten sich zweimal überlegen, ob sie nach der Heirat den Namen ihres Mannes annehmen, denn dann hält man sie für weniger intelligent. Behalten sie dagegen ihren Namen, werden sie als ehrgeiziger und auch als weniger fürsorglich eingeschätzt. Im Berufsleben bedeutet der Namenswechsel einen finanziellen Verlust gegenüber anderen verheirateten Frauen – und zwar um genau 861,21 Euro im Monat.

Inzwischen steht fest: All das ist Humbug. Viele Jahre lang hatte der niederländische Sozialpsychologe Diederik Stapel diese und andere Ergebnisse gefälscht, hatte Kollegen mit falschen Daten versorgt und sogar Studien erfunden. Mit seinen spektakulären Ergebnissen war Stapel zu einem hellen Stern am sozialpsychologischen Forschungshimmel aufgestiegen.

Hochstapler gefeuert

Niemand bemerkte den Betrug – bis sich drei von Stapels Studenten 2011 mit Beweisen an dessen Arbeitgeber wandten, die Universität Tilburg. Daraufhin wurde der Hochstapler gefeuert, und viele seiner in so renommierten Fachzeitschriften wie „ Science“ erschienenen Artikel wurden widerrufen.

Der Skandal sandte Schockwellen durch die Forschungslandschaft: Wie konnte es sein, dass Stapels Schwindel nicht früher aufgeflogen war? Schließlich hat ein Forschungsergebnis erst Bestand, wenn es unter den gleichen Bedingungen zuverlässig immer wieder auftritt, getreu dem Motto: Einmal ist keinmal. Die Replikation, also die Wiederholung von Experimenten, ist ein wichtiger Bestandteil der wissenschaftlichen Arbeit. Wenn Stapels Ergebnisse so außergewöhnlich waren, warum hatte sie dann niemand repliziert?

Brian Nosek, Psychologe an der University of Virginia, nennt eine einfache Erklärung: Replizieren lohnt sich nicht. „ Wissenschaftler werden dazu angehalten, neue Forschungsergebnisse zu veröffentlichen.“ Es gilt das Prinzip „publish or perish“ („ veröffentliche oder gehe unter“). Denn bei der Vergabe von Stellen oder Drittmitteln spielt üblicherweise die Zahl der Veröffentlichungen in Fachzeitschriften eine entscheidende Rolle.

Das Problem hat zwei Seiten: Zum einen werden Replikationen selten von Fachzeitschriften zur Veröffentlichung angenommen, bringen einen Forscher beruflich also nicht weiter. Zum anderen gibt es das „Schubladenproblem“: Positive Befunde werden leichter veröffentlicht als negative Befunde, weshalb Forscher ihre Daten oft in der Schublade verschwinden lassen, wenn sie keinen Effekt gefunden haben. Somit haben es negative Replikationen doppelt schwer, überhaupt an die Öffentlichkeit zu gelangen. Dies führt zu dem verzerrten Bild unter Wissenschaftlern und Laien, dass in der Psychologie jeden Tag neue spannende Effekte entdeckt werden.

blick hinter den Vorhang

Mit voller Wucht wurde diese Problematik der Fachwelt 2011 durch einen zweiten Fall bewusst. Der Psychologe Daryl Bem, emeritierter Professor der Cornell University in Ithaca, New York, hatte im angesehenen Fachmagazin „Journal of Personality and Social Psychology“ einen Artikel veröffentlicht mit dem Titel: „Die Zukunft fühlen: Experimentelle Belege für anomale retroaktive Einflüsse auf Denken und Gefühl“. In einem von insgesamt neun Experimenten hatte Bem die Probanden dazu aufgefordert, hinter einen von zwei Vorhängen zu blicken.

Hinter dem einem befand sich eine neutrale Wand, hinter dem anderen ein erotisches Bild – hinter welchem, konnten die Probanden nicht wissen. Oder doch? Die Probanden wählten in mehr als der Hälfte der Fälle den Vorhang, hinter dem sich das erotische Bild verbarg. Bem wertete dies als Beweis für Präkognition. Die Aufmerksamkeit der Medien und seiner Kollegen war ihm sicher.

In einem solchen Fall spielt die Replikation eine entscheidende Rolle – sollte man meinen. Als jedoch eine Gruppe britischer Forscher eines von Bems Experimenten wiederholte und keine Anzeichen für übersinnliche Kräfte ihrer Probanden fanden, lehnte dasselbe Journal, das Bems Artikel veröffentlicht hatte, das eingereichte kritische Manuskript ab. Begründung: Replikationen würden dort grundsätzlich nicht veröffentlicht.

Ähnlich erging es den Wissenschaftlern bei mehreren anderen Fachzeitschriften. So lehnte das „British Journal of Psychology“ die Publikation ab, da Daryl Bem selbst als einer der Gutachter den Artikel negativ bewertete. Nach einer langen Odyssee konnten die Forscher ihre Ergebnisse endlich im digitalen Journal „Plos One“ platzieren.

Was heisst statistisch signifikant?

Es bleibt die Frage: Warum wurde ein Artikel wie Bems parapsychologischer Nonsens überhaupt veröffentlicht? Für die Beantwortung muss man ein wenig Statistik bemühen – und wissen, was Psychologen meinen, wenn sie sagen, dass ein Ergebnis „ statistisch signifikant“ sei. Im Grunde berechnen sie aus ihren erhobenen Daten die Wahrscheinlichkeit dafür, dass der Effekt nur zufällig aufgetreten ist. Dafür bemühen sie den sogenannten p-Wert. Er wird als Konvention in der Regel bei p=0,05 festgesetzt. Errechnet man also für einen Effekt einen p-Wert, der kleiner ist als 0,05, spricht man von statistischer Signifikanz. Anders gesagt: Die Wahrscheinlichkeit, dass der gefundene Effekt zufällig aufgetreten ist, beträgt weniger als 5 Prozent. Das hört sich zwar nach wenig an, bedeutet aber: Jedes 20. Ergebnis ist falsch. Replikationen sind also wichtig, weil Forscher testen müssen, ob die Ergebnisse nicht einfach Zufall sind.

Daryl Bem fand für seine These der Präkognition statistisch signifikante Effekte, wohl durch Zufall und geschicktes Einsetzen statistischer Tests. „Bems Artikel erweckte den Anschein, als ob er methodologisch korrekt sei“, sagt Klaus Fiedler von der Universität Heidelberg. Der Psychologe war einer der Gutachter des Artikels, der gegen eine Veröffentlichung stimmte. „Die Herausgeber der Zeitschrift wollten Daryl Bem nicht aufgrund des parapsychologischen Themas diskriminieren. Und sie hatten auch keine klaren Kriterien für eine Ablehnung.“

Kann man psychologischen Studien also überhaupt vertrauen? „ Das ist keine neue Sorge“, räumt Brian Nosek ein. „Wir machen uns seit 40 Jahren Gedanken darüber. Die Fälle von Stapel und Bem waren nun so drastisch, dass sie eine Diskussion in der Psychologie angestoßen haben.“ Nosek und viele seiner Kollegen sind der Meinung, dass die Psychologie mehr Offenheit braucht. Um konkrete Ansätze entwickeln zu können, müssen sie zunächst einmal herausfinden, wie groß das Problem ist.

Zu diesem Zweck hat der Psychologe zusammen mit Kollegen 2012 das „Reproducibility Project“ (Reproduktionsprojekt) gegründet. Es sieht vor, möglichst viele Studien aus drei angesehenen Fachzeitschriften von 2008 zu wiederholen, um festzustellen, wie viele davon sich positiv replizieren lassen. Etwa 120 Mitarbeiter wurden bereits auf freiwilliger Basis gewonnen. Derzeit bearbeiten sie rund 60 Studien, bereits von einem Drittel liegen Ergebnisse vor.

Drei der Prüfstudien hat Frank Renkewitz, Psychologe an der Universität Erfurt, gemeinsam mit seiner Kollegin Stephanie Müller durchgeführt. Während er den ursprünglichen Befund zweier Studien bestätigen konnte, gab es Probleme bei der dritten.

Ein ernüchternder Hut

Renkewitz erläutert die Hypothese. „Es ging darum, worauf ein Proband seine Aufmerksamkeit richtet. Nacheinander wurden ihm die Wörter ‚Cowboy‘ und ‚Hut‘ präsentiert. Der Hut sollte die Aufmerksamkeit nach oben lenken, weil ein Cowboy ihn auf dem Kopf trägt. Die Vermutung war, dass ein Zielreiz – etwa ein Kreuz –, der anschließend oben auf dem Bildschirm erscheint, langsamer identifiziert wird, als einer, der unten, links oder rechts erscheint. Das sollte daran liegen, dass der Hut eine spezielle neuronale Simulation ausgelöst hatte.“ Das ernüchternde Ergebnis: „Wir haben nicht den geringsten Beleg für diese Hypothese gefunden.“

Doch Renkewitz, Nosek und die anderen Mitarbeiter sind nicht so sehr an den Ergebnissen einzelner Studien interessiert als vielmehr am Gesamtbild. Sie haben die Hoffnung, dass das Ergebnis die wissenschaftliche „Erfolgsstrategie“ ändert – denn derzeit hat es kaum Auswirkungen auf die Karriere eines Forschers, ob seine Ergebnisse reproduzierbar sind oder nicht. Auch der Heidelberger Psychologe Klaus Fiedler findet, dass sich dringend etwas ändern muss, aber er meint: „Es ist nicht per se schlecht, auch unvergorene und ungetestete Ideen auf den Markt zu werfen.“

Was er fordert, ist eine Debattenkultur in der Wissenschaft: „ Wenn wir Kontroversen offen austragen, folgen automatisch kritische Replikationen.“ Eine weitere von mehreren Forschern vorgeschlagene Möglichkeit wäre, Studien vor ihrer Umsetzung zu registrieren. Diese Methode würde es erschweren, negative Befunde unter den Tisch fallen zu lassen.

Wasser auf die Mühlen

Die Debatte um die Verlässlichkeit psychologischer Studien ist Wasser auf die Mühlen derer, die Psychologie sowieso für eine unzuverlässige und „weiche“ Wissenschaft halten. Doch das Prinzip „publish or perish“ gilt quer durch alle Fachbereiche – und führt dort zu den gleichen Problemen. Vielleicht haben die Kontroversen in der Psychologie den positiven Effekt, dass dieses Thema offensiv angegangen wird.

Der US-Psychologe Brian Nosek ist optimistisch: „So funktioniert Wissenschaft nun mal. Das ist kein Sammeln von Fakten, sondern ein langsames Sammeln von Ideen, Befunden und Beweisen. Ich hoffe, dass die Kritik am Ende zu einem besseren öffentlichen Verständnis führt, wie Wissenschaft eigentlich funktioniert.“ ■

von Franziska Konitzer