Bis zum besten Paper

Horizonte – Das Schweizer Forschungsmagazin – Judith Hochstrasser

Fachartikel erhalten durch Peer-Review ein Gütesiegel. Wir zeigen den Prozess am Beispiel Swiss Medical Weekly und vergleichen mit anderen wissenschaftlichen Zeitschriften.

1 — Check von Richtlinien und Integrität

Reicht eine Forschungsgruppe ihr Paper bei Swiss Medical Weekly (SMW) ein, wird unter anderem zunächst geklärt, ob die Autorinnenrichtlinien und die publikationsethischen Grundsätze eingehalten sind. Wer zum Beispiel lediglich die finanziellen Mittel besorgt hat, sollte nur in den Verdankungen genannt werden. Für alle eingereichten Artikel führen die leitenden Redaktorinnen nun einen ersten Check durch. Unter anderem werden die Texte mittels Software auf Plagiate geprüft. An dieser Stelle werden auch die eindeutig ungeeigneten Einreichungen direkt abgelehnt – in Grenzfällen immer nach einer Rücksprache mit den Chefredaktoren. Artikel, die diese erste Prüfung nicht bestehen, kommen kaum je aus der Schweiz, wie die leitende Redaktorin Natalie Marty erklärt. Das betreffe rund die Hälfte der Einreichungen. «Leider werden viele solche Artikel eingereicht, dies wohl auch aufgrund der Tatsache, dass bei SMW keine Publikationsgebühren von den Autoren erhoben werden.»

Unterschiedliche Ablehnungsquoten
Zum Vergleich: Beim Non-Profit-Journal für Life Sciences E-Life werden rund siebzig Prozent der Beiträge nach dem ersten Check abgelehnt, beim Lausanner Verlag Frontiers sind es dagegen nur rund 35 Prozent der eingereichten Artikel. Beide sind wie SMW Open-Access-Verlage, bei denen das Lesen der Artikel kostenlos ist. Die Kriterien des ersten Filters sind bei vielen Zeitschriften ähnlich, allerdings gibt es etwa bei Nature, wo man für viele Artikel zahlen muss, noch zusätzliche Kriterien, die viel stärker auf das Publikum ausgerichtet sind. Als Erstes werden dort gemäss Website zum Beispiel auch folgende Aspekte geprüft: «Dass die Ergebnisse neuartig und verblüffend erscheinen und dass die beschriebene Arbeit sowohl unmittelbare als auch weitreichende Auswirkungen hat.»

2 — Methodenprüfung

Hat der eingereichte Artikel den ersten Filter passiert, wird er bei SMW seit 2022 durch ein methodologisches Review geprüft. Diese Arbeit wird vollumfänglich durch die Zeitschrift entschädigt. Die Besonderheit wird aktuell ermöglicht durch eine Unterstützung der Fondation Leenaards. Danach entscheiden die internen akademischen Redaktorinnen, ob das Paper ins externe Review geht. Rund ein Drittel der Artikel werden nach dem Check der Methoden noch abgelehnt. Zum Beispiel werden Fall­berichte und auf Umfragen basierende Artikel nicht publiziert oder nur unter gewissen Voraussetzungen. Solche Beiträge können aber optional auf der neuen Preprint-Plattform von SMW publiziert und/oder bei einem anderen Journal eingereicht werden. Artikel mit eher journalistischem Inhalt können auf der Website der Zeitschrift als Blogbeiträge veröffentlicht werden, sogenannte Op-Eds.

Im eigentlichen SMW publiziert werden unter anderem randomisiert-kontrollierte Studien und Kohortenstudien von hoher Qualität, wie der beratende leitende Redaktor Jan Roth ausführt. Nicht alle Fachverlage kennen diesen zusätzlichen Schritt: Frontiers etwa überlässt das Validieren der Methoden üblicherweise auch den externen Reviewerinnen.

3 — Beurteilung durch die Peers

Nun gehen Forschungsarbeiten, welche die Autorinnenrichtlinien der Zeitschrift erfüllen, ins Herzstück des Prozesses: ins externe Peer-Review. Bei SMW werden jeweils mindestens zwei Einschätzungen eingeholt. Die akademischen Redaktoren wählen die passenden Expertinnen aus. Dafür baut die Zeitschrift auf drei Säulen, wie Co-Chefredaktor Gérard Waeber erläutert: «SMW hat einerseits einen eigenen Pool aus mehreren Tausend Reviewerinnen, andererseits schlagen die internen akademischen Redaktoren geeignete externe Fachleute aus ihrem Gebiet vor. Drittens werden manchmal auch neue Experten gesucht, basierend auf ihren Publikationen zum Beispiel in der Datenbank Medline.» Die Gutachtenden bleiben für die Autoren anonym. Manchmal werden Autoren auch gebeten, selber mehrere Reviewerinnen vorzuschlagen. Das scheint etwas heikel, doch Co-Chefredaktor Adriano Aguzzi erklärt: «Buddies sind längst nicht immer die wohlwollendsten Revie­wer. Aus meiner Erfahrung ist sogar oft das Gegenteil der Fall.»

Warum macht eine Forscherin überhaupt ein Gutachten, wenn sie nichts daran verdient? «Die Qualität eines Artikels motiviert», ist Aguzzi überzeugt. Deswegen sei die Güte der Papers entscheidend, die ins Review geschickt werden. «Das Ziel sollte sein: Siebzig Prozent der Papers können nach dem Review, ­allenfalls nach Überarbeitungen, publiziert werden.»

Auf Basis der Gutachten entscheidet nun der zuständige interne akademische Redaktor von SMW allein, ob das Paper ohne weitere Revision publiziert werden kann, was laut Natalie Marty sehr selten vorkommt, oder ob es zur Überarbeitung zurück­geschickt werden muss oder doch noch ganz ab­gelehnt wird. Tatsächlich passiert Letzteres bei SMW nur noch bei rund 14 Prozent der Artikel. Redaktionelle Entscheide haben eine subjektive Komponente, wie Aguzzi einräumt. Für ihn sei etwa essenziell, ob das Fazit des Papers durch die präsentierten Daten unterstützt wird.

Open Peer Review
Ein ganz anderes Modell für das Peer-Review probiert seit diesem Jahr etwa das Journal E-Life aus. Dort werden nur Papers begutachtet, die bereits auf einer Preprintplattform publiziert wurden. Die Reviews werden veröffentlicht. Ob Artikel so weit kommen, hängt nicht mehr wie früher von den Publikationskriterien von E-Life ab, sondern nur davon, ob die Zeitschrift die passende Expertise bereitstellen kann. Nach dem Review kann ein Artikel nicht mehr abgelehnt werden.

Es ist somit der Community überlassen, wie sie den Artikel und die entsprechenden Reviews einschätzt. Die Autorin kann den Beitrag allerdings überarbeiten und die Revision wieder an die Redaktoren von E-Life schicken. Daraufhin wird das Paper allenfalls als sogenannte Version of Record wieder auf derselben Plattform veröffentlicht. Bisher hat E-Life gemäss Medienstelle mit dem neuen Modell gleich viele Einreichungen gehabt wie mit dem traditionellen.

4 — Und nochmals von vorn

Wurde ein Paper überarbeitet, durchläuft es bei SMW nochmals – zumindest teilweise – den oben beschriebenen Prozess. Je nach Grund für die verlangte Über­arbei­tung wird das methodologische und/oder das externe Review erneut durchgeführt. Die zuständige interne akademische Redaktorin entscheidet am Ende, ob das Paper nun noch einmal in die Überarbeitung muss oder ob der Artikel jetzt publiziert werden kann. Auch jetzt können noch Arti­kel ganz abgelehnt werden. Das geschieht jedoch nur in etwa zwei Prozent der Fälle.

6 — Bibliotheken als Qualitätsgarant

Als eine Art letzter Filter – für das ganze Journal – könnten die Abonnemente durch Hochschulbibliotheken, Kliniken und Private betrachtet werden. Vor den Open-Access-Bestrebungen kosteten diese teilweise mehrere Hundert bis mehrere Tausend Franken und wurden deswegen sorgfältig ausgewählt. «Das Modell garantierte automatisch Qualität», findet Aguzzi. Die Umstellung sei naiv gewesen. Die neuen Modelle, bei denen die Autorinnen für die Publikation bezahlen, stellten eine Gefahr für die Qualität der publizierten Artikel dar. Allerdings haben etwa Bibliotheken mit dem Entscheid, ob sie eine Publikation in ihre Liste aufnehmen oder nicht, weiter einen Hebel in der Hand. Ob die Qualität stimmt, ist auch wichtig für ihre Reputation.

Der Artikel von Judith Hochstrasser