Dental

Mo|nis|mus  〈m.; –; unz.; Philos.〉 philosoph. Lehre, dass alles Seiende auf ein einheitl. Prinzip zurückzuführen sei (beim materialist. Monismus auf die Materie, beim idealist. Monismus auf den Geist); Ggs Pluralismus ( ... mehr

Stern|kun|de  〈f. 19; unz.〉 = Astronomie

Über das Peer Review wurde hier auf Scienceblogs schon viel geschrieben, verdammt viel … wirklich viel. Kann man da wirklich noch etwas Neues schreiben? Nun, diese Serie fing ganz anders an. Es geht in dieser Serie denn auch nicht (ausschließlich) um die statistischen Zutaten zur Reproduzierbarkeitskrise (also p-Hacking und Co.), sondern verstärkt um allgemeine Zutaten und diejenigen, welche die Bioinformatik leistet. Und so habe ich gerade erst den Traum formuliert (nicht in dieser Serie und überhaupt schon häufiger), dass auf jeden Artikel-Topf ein Gutachter-Deckel passt: Wäre es nicht schön, jeder zur Veröffentlichung eingereichte Artikel fände engagierte und kompetente GutachterInnen? Womöglich solche, die auch wirklich hilfreiches Feedback geben können und wollen? Hier also eine Überlegung zum Thema peer review und warum mein Traum ein Traum bleiben wird:

Wer als WissenschaftlerIn veröffentlicht, sollte auch bereit sein die Werke Anderer zu begutachten, zu “reviewen”. Schließlich ist ein guter Reviewprozess, also die fachliche Begutachtung von wissenschaftlichen Artikeln, auch ein Austausch unter Kollegen zur Verbesserung von Veröffentlichungen. Persönlich halte ich es so, dass ich mich für jede eigene Veröffentlichung bei Reviewanfragen – die danach unweigerlich kommen werden – bereit erkläre einige Reviews selber zu übernehmen. Wenn eine Anfrage mich interessiert, nehme ich sie lieber an (und bin auch überzeugt bessere Hinweise an KollegInnen geben zu können). Wenn mir ein Thema nichts sagt, lehne ich die Anfrage garantiert ab. Auf diese Weise erstirbt die Anfragenflut jedes Mal nach einer Weile.

Ich betrachte dieses Vorgehen als eine Form des Selbstschutzes: Schließlich habe ich nicht beliebig Zeit. Mir ist klar, dass ich diese Strategie nicht erfunden habe: Viele KollegInnen halten es genau so.

Dann gibt es die Kategorie der WissenschaftlerInnen, die den Reviewprozess zum Hobby gemacht haben scheinen und extrem viele Artikel begutachten. Aus meinem Satz spricht zwar Unverständnis, aber immerhin übernehmen diese KollegInnen (meist ProfessorInnen nahe dem Karriereende) einen großen Batzen Arbeit.

Damit stehen die zweite Gruppe im größtmöglichen Kontrast zur dritten Gruppe derjenigen, die äußerst selten Reviewanfragen positiv beantworten. Über die Gründe mag ich nicht spekulieren.

Die Konsequenz

Irgendwo in diesem Spannungsfeld bewegen sich alle WissenschaftlerInnen, auch wenn sich nicht alle Mitlesenden genau in einer der überspitzt beschriebenen Gruppen verordnen. Dennoch ist klar, dass nicht für jede wissenschaftliche Veröffentlichung jemand mit wirklich passender Expertise als Reviewer gewonnen werden kann. Es sei denn wir nehmen an, die zweite Gruppe ist in ihren Fachgebieten tendenziell breit aufgestellt und super kompetent …

Reviewerdatenbanken und freiwilliger Review

Einige Verlage und freie Organisationen pflegen Reviewerdatenbanken (Beispiel). Dies ist gewissermaßen ein Lösungsansatz. Über die Wirkung kann ich nur spekulieren – mangelnder Qualität auf breiter Front abhelfen ist bislang jedoch nicht gelungen. Meine Vermutung ist, dass die Wirkung hinsichtlich “Passgenauigkeit” der Reviewer zum Veröffentlichungsthema begrenzt ist, schließlich gibt es dennoch zu wenige Leute, welche die Gutachtertätigkeit übernehmen. Ich merke nämlich immer wieder:  Editoren und Redakteure freuen sich einfach stark über Freiwillige.

“Wo bleibt dabei arXiv?” werden sich bestimmt schon einige von Euch gefragt haben. Dieser Dokumentenserver zum Einstellen von noch nicht begutachteten Artikeln, sogenannten Pre-Prints, hat auch Nachahmer in anderen Bereichen gefunden; nicht zuletzt der Biologie, die in diesem Blog mit der Bioinformatik immer wieder im Rampenlicht steht. Bei diesen Serverdiensten begutachten freiwillige FachwissenschaftlerInnen die eingereichten Arbeiten. Das funktioniert nicht schlecht. Es kann sogar zur Ablehnung von Artikeln kommen und in manchen Bereichen ersetzen diese Dokumentenserver gar die Veröffentlichung in einer Fachzeitschrift.

Vielleicht ist das irgendwann einmal die Lösung für das Topf-und-Deckel-Problem des Begutachtungsprozesses. Vielleicht ist es so, dass jeder Artikel Aufmerksamkeit der wirklich interessierte KollegInnen auf sich ziehen kann. Und dann ist die Wahrscheinlichkeit sehr groß, dass diese an einem niederschwelligen Kommentar- und Begutachtungsprozess auch teilnehmen. So lange jedoch wir WissenschaftlerInnen sehr viele Quellen in Form konkurrierender Zeitschriften (Open vs. Closed Access) und die Dokumentenserver haben, gibt es auch konkurrierende Systeme die einander das “Qualitätswasser” möglicher Reviewer abgraben. Und so lange wird mein Traum des stets gut zum Artikel passenden Peers ein Traum bleiben. Mitunter mit gravierenden Folgen.

Und zum Schluss

Irgendwie finde ich, dass die Artikel einer solchen Serie nicht im Rant-Modus enden sollten. Was kann aber hier folgen? Der Appell sich zum Review bereit zu finden? Ja natürlich, aber das wird das Problem nicht lösen. Stattdessen: Fordert von den Editoren einen Kriterienkatalog ein, wenn sie Euch um ein Gutachten bitten! Nicht wenige Zeitschriften verweisen bereits auf solche Kriterien, die ein Artikel in ihrem Journal erfüllen soll. Seid kritisch und freundlich, wenn ihr begutachtet und gebt den Editoren Feedback zum Kriterienkatalog. Und wenn Ihr selbst Entscheidungsträger seid (z. B. als Editor), greift ein paar von den geschilderten Maßnahmen auf, wenn “Euer Journal” sie noch nicht etabliert hat.

https://scienceblogs.de/rupture-de-catenaire/2020/09/09/zutaten-zur-reproduzierbarkeitskrise-2-nicht-zu-jedem-topf-passt-ein-deckel-ueber-die-schwierigkeit-gute-reviewer-zu-finden/?utm_source=rss&utm_medium=rss&utm_campaign=zutaten-zur-reproduzierbarkeitskrise-2-nicht-zu-jedem-topf-passt-ein-deckel-ueber-die-schwierigkeit-gute-reviewer-zu-finden