Peer Review: Warum ist es wichtig?

Da wissenschaftliche Ergebnisse und Erkenntnisse weitreichende Folgen für Mensch und Gesellschaft haben können, müssen diese vor Veröffentlichung einer Qualitätskontrolle unterzogen werden: dem Peer-Review-Verfahren.

Hierbei werden die in dem Manuskript dargestellten Ergebnisse von anderen Wissenschaftler:innen aus dem jeweiligen Feld auf Validität geprüft und im Hinblick auf die Publikationswürdigkeit bewertet.

Die Peer-Review-Gutachten bilden die Grundlage für die Entscheidungsfindung, ob ein Manuskript publiziert wird.

Ablauf des Peer-Review-Verfahrens

Nach der Einreichung eines Manuskripts bei einer wissenschaftlichen Zeitschrift erfolgt eine Art Vorprüfung im Rahmen eines Desk-Reviews: Die Herausgeber:innen entscheiden, ob das Manuskript das Peer Review durchlaufen soll oder sofort abgelehnt wird. Hier wird insbesondere geprüft, inwieweit ein Artikel zur thematischen Ausrichtung passt. Im Anschluss werden Gutachter:innen ausgewählt, die aufgrund ihres Forschungsfeldes in der Lage sind, das Manuskript zu begutachten. Idealerweise werden Manuskripte von mehreren Gutachter:innen bewertet.

Im Rahmen des Peer-Review-Verfahrens wird in erster Linie geprüft, ob Forschungsfragen verständlich formuliert wurden und ob ein geeigneter Forschungsansatz gewählt wurde, um die aufgestellten wissenschaftlichen Fragestellungen zu beantworten. Zudem wird überprüft, inwieweit die Methodik State-of-the-Art ist und ob die Ergebnisse reproduzierbar sind. Auch die Originalität und Neuheit der Forschungs­erkennt­nisse werden bewertet. Sofern mit Patient:innen oder Tieren gearbeitet wurde, werden auch ethische Aspekte geprüft. Schlussendlich wird auch die „Lesbarkeit“ bewertet: Ist der  Aufbau logisch? Sind die  Schlussfolgerungen nachvollziehbar? Darüber hinaus erhalten Autor:innen nützliche Hinweise zur Verbesserung ihres Artikels.

Die Gutachter:innen erstellen ihre Bewertung meist anhand eines Fragebogens und senden diesen zurück an die Herausgeber:innen. Auf dieser Grundlage erfolgt die abschließende Entscheidung, ob ein Manuskript angenommen oder abgelehnt wird,  beziehungsweise unter der Maßgabe angenommen wird, dass bestimmte Punkte überarbeitet werden. Bei schwerwiegenden Mängeln werden Manuskripte abgelehnt, können aber nach einer grundlegenden Überarbeitung erneut eingereicht werden. Grundsätzlich entscheiden die Herausgeber:innen final darüber, wie viele Gutachten sie einholen und inwieweit sie den Empfehlungen darin folgen.

Eine Ablehnung muss nicht zwingend bedeuten, dass ein Manuskript qualitativ schlecht ist. Es werden auch Artikel abgelehnt, die entweder der inhaltlichen Ausrichtung der Zeitschrift nicht entsprechen oder die den teilweise sehr hohen Standards an Neuheit und Originalität nicht genügen. Ein weiterer Grund für eine Ablehnung kann sein, dass ein innovativer Ansatz von den Gutachter:innen nicht als solcher erkannt wird. Es gibt auch Zeitschriften, die im Hinblick auf Originalität weniger strikt sind, sondern eher prüfen, inwieweit wissenschaftlich exakt gearbeitet wurde. Abgelehnte Artikel werden daher meist von den Autor:innen bei einer anderen Zeitschrift erneut eingereicht. Einige renommierte Zeitschriften haben Ablehnungsquoten von über 90%; über alle wissenschaftlichen Zeitschriften betrachtet, werden etwa die Hälfte aller eingereichten Artikel  abgelehnt. Abgelehnte Artikel werden meist von den Autor:innen bei einer anderen Zeitschrift erneut eingereicht. Inwieweit eine erneute Einreichung bei derselben Zeitschrift möglich ist, regelt die jeweilige Policy und sollte unter Umständen mit dem:der Herausgeber:in besprochen werden.

Peer-Review-Varianten

Peer Review kann als Sammelbegriff für unterschiedlichste Varianten verstanden werden. Eine Grobunterscheidung der gängigsten Verfahren ist:

• Single-Blind-Verfahren: Der:Die Autor:in erfährt nicht, wer der:die Gutachter:in ist,
• Double-Blind-Verfahren: Der:Die Autor:in und Gutachter:in wissen wechselseitig nicht, wer der:die andere ist.

Zudem gibt es erhebliche Unterschiede im Detailgrad, mit denen Manuskripte geprüft werden. Einzelne Zeitschriften setzen dazu beispielsweise zusätzlich Plagiatssoftware ein, organisieren ein spezielles Statistik- oder Methoden-Review oder überprüfen eingereichte Abbildungen auf Manipulationen.

Zunehmend werden auch Zeitschriften gegründet, in denen wissenschaftliche Software oder Forschungsdatensätze beschrieben werden. Hierzu wird das Peer Review entsprechend angepasst.
Darüber hinaus werden Peer-Review-Verfahren auch von Konferenzorganisator:innen eingesetzt, um Beiträge auszuwählen. Auch bei der Bewertung der Förderungswürdigkeit von Forschungsanträgen setzen mittelgebende Einrichtungen Peer-Review-Verfahren ein.

Kritik am Peer Review

Alle angesprochenen Verfahren haben spezifische Vor- und Nachteile. Beim Double-Blind-Verfahren wird beispielsweise kritisiert, dass Gutachter:innen anhand der zitierten Referenzen erahnen können, wer die Autor:innen sind. Dies beeinflusst unter Umständen die Neutralität des Gutachtens. Die Einschätzung eines wissenschaftlichen Artikels ist zudem von der Sorgfalt der Reviewer:innen und deren wissenschaftlicher Überzeugung abhängig.

Peer-Review-Verfahren geraten zunehmend in die Kritik, weil beispielsweise schwerwiegende methodische Fehler nicht immer entdeckt werden. Einige Gründe für das „Versagen“ des Peer-Review-Verfahrens sind die Überlastung der Peer Reviewer:innen durch ein gestiegenes Publikationsaufkommen einhergehend mit fehlender Sorgfalt oder eine unpassende Auswahl von Gutacher:innen durch das Editorial Board.

Zudem wird häufig kritisiert, das Peer-Review-Verfahren sei zu intransparent, weil die Gutachten subjektiv gefärbt sind, beispielsweise wenn sich Gutachter:innen nicht von ihren jeweiligen Denkschulen lösen können, den Wert einer neuen Idee nicht schätzen oder weil Gutachter:innen mögliche Interessenskonflikte nicht offenlegen (müssen).
Ein weiterer zentraler Kritikpunkt am Peer-Review-Verfahren ist, dass es sich über längere Zeiträume (in der Regel Wochen bis Monate, in Einzelfällen wird auch von Jahren berichtet) hinziehen kann.

Gelegentlich wird auch der Verdacht geäußert, dass Zeitschriften, die von sich behaupten, ein Peer-Review-Verfahren installiert zu haben, keine oder eine nur sehr oberflächliche Prüfung durchführen (siehe auch das FAQ zu "Predatory Publishing").

Man geht davon aus, dass sich trotz Peer Review Betrugsfälle und die Publikation von minderwertigen Artikeln nicht gänzlich verhindern lassen. Bei aller Kritik wird weiterhin am Peer Review festgehalten, weil es sich letztlich doch bewährt hat und in den meisten Fällen – insbesondere wenn Autor:innen die Gutachten einsehen und Anmerkungen verarbeiten können – zur Verbesserung der Publikationen beiträgt. Schlussendlich liegt die Verantwortung bei den Autor:innen, die nach wissenschaftlichem Selbstverständnis für „wissenschaftliche Reproduzierbarkeit“ und „Redlichkeit“ zu sorgen haben. Das Konzept Peer Review erfährt zudem ständig Anpassungen, um den Kritikpunkten zu begegnen.

Alternativen zu gängigen Peer-Review-Verfahren

Bei den oben dargestellten Peer-Review-Varianten handelt es sich um sogenanntes Pre-Publication-Peer-Review, d.h. eine Begutachtung findet vor der formalen Veröffentlichung eines Artikels statt. Auch aufgrund der genannten Kritikpunkte werden zurzeit unterschiedliche Alternativen erprobt:

• „Open Peer Review“ (oder „Crowd Sourced Peer Review“) gilt als Sammelbegriff für unterschiedliche Arten der Öffnung des Begutachtungsverfahrens. So können beispielsweise die Identität von Autor:innen und Begutachtenden oder die Gutachten selbst zugänglich gemacht werden.
• Post-Publication-Review: Hierbei handelt es sich um alle Formen des Austauschs zu einem Artikel, die nach der Veröffentlichung stattfinden. Eine Kombination mit Open-Peer-Review ist dabei möglich. Hierzu werden Artikel ohne oder mit lediglich grober Vorprüfung direkt veröffentlicht und die entsprechende Bewertung und Einschätzung der wissenschaftlichen Gemeinschaft überlassen. Die Plattform F1000 ist hierfür ein Beispiel. Ansonsten sieht das Post-Publication-Peer-Review meist eine Kommentierung von bereits veröffentlichten Artikeln vor. In formalisierter Form entweder auf der Publikationsplattform selbst oder aber auf externen Plattformen wie PubPeer.
• Weitere Alternativen zielen auf die „Mitnahme“ von Gutachten im Falle einer Ablehnung ab, um bei der erneuten Einreichung bei einer anderen Zeitschrift das Begutachtungsverfahren abzukürzen. Diese werden meist mit „Cascading Peer Review“ bei der erneuten Einreichung der Publikation bei einer anderen Zeitschrift des gleichen Verlages oder „Portable Peer Review“ bei der Mitnahme der Gutachten auch zu einem anderen Verlag bezeichnet. Ziel ist es, im Rahmen der Begutachtung zeitaufwendige Doppelarbeit zu vermeiden. In eine ähnliche Richtung geht die Initiative „Review Commons“ – einem Zusammenschluss von Zeitschriften aus dem lebenswissenschaftlichen Bereich –  bei der Manuskripte vorab auf einem Preprint-Server zugänglich gemacht und zeitschriftenunabhängig begutachtet werden. Auf der Basis der Gutachten entscheiden dann die Autor:innen, bei welcher der teilnehmenden Zeitschrift sie einreichen. Die Gutachten werden ebenfalls mitgenommen.

All diese Alternativen adressieren jeweils spezifische Probleme des Peer-Review-Verfahrens, können aber ihrerseits zu neuen Problemen führen.

Informelle Formen zur Feedbackeinholung

Es besteht auch die Möglichkeit, sich informell Feedback zu einem Manuskript einzuholen. Diese Prozesse werden von den Autor:innen selbst angestoßen. Neben dem Zusenden von Manuskripten an Kolleg:innen mit der Bitte um Feedback, gibt es auch die Variante, das Manuskript auf einen Preprint-Server hochzuladen und den Link über Social-Media-Kanäle wie Twitter oder Blogs oder E-Mail zu verteilen. Vorteil hierbei ist, dass man sich bereits mit oder vor einer Einreichung schnell Feedback zum Manuskript einholen kann. Nachteil ist, dass die gründliche Durchsicht durch andere nicht garantiert werden kann oder man Hinweise erhält, die für die Verbesserung des Manuskripts eher wenig brauchbar sind. Zudem werden diese Formen nicht als Peer Review im eigentlichen Sinne anerkannt.

Rapid Peer Review oder Fast Track Peer Review

Das klassische Peer-Review-Verfahren dauert in der Regel Wochen bis mehrere Monate. In den Lebens­wissen­schaften wurde bei einzelnen Zeitschriften für Einreichungen zu bestimmten Themen – beispielsweise solche, die die öffentliche Gesundheit betreffen – ein beschleunigtes Peer-Review-Verfahren installiert, bei dem mit einem Pool von Begutachtenden zusammengearbeitet wird, die sich zu einer schnellen Begutachtung ohne Abstriche bei der Gründlichkeit, bereit erklärt haben. So wird sichergestellt, dass Ergebnisse zu dem jeweiligen Thema möglichst schnell auch qualitätsgesichert zur Verfügung stehen. Informationen dazu, ob eine Zeitschrift so etwas anbietet, finden sich auf der Webseite einer Zeitschrift.

Anerkennung von Peer Review als Leistung

Für die Erstellung der Gutachten wird in der Regel kein Entgelt bezahlt, es ist Teil der Selbstorganisation der Wissenschaft. Einige Verlage „belohnen“ ihre Gutachter:innen dahingehend, dass sie ihnen für einen begrenzten Zeitraum kostenfreien Zugriff auf das Verlagsarchiv gewähren.

Um die Leistungen der Gutachter:innen sichtbarer zu machen, gibt es Plattformen, auf denen Forschende ihre Beiträge zur Qualitätssicherung in der Wissenschaft darstellen können. Ein Beispiel hierfür ist die Plattform Publons. Forschende können dort angeben, für welche Zeitschriften sie wie viele Gutachten verfasst haben. Die Gutachten selbst sind allerdings nur dann einsehbar, wenn die Zeitschrift ein Open-Peer-Review-Verfahren installiert hat und Autor:innen und Gutacher:innen mit der Veröffentlichung einverstanden sind.

Die Erwähnung von Gutachter:innentätigkeiten im Lebenslauf ist ebenfalls möglich.

Wie wird man Gutachter:in

Um Manuskripte von anderen Forschenden beurteilen zu können, sollte eine gewisse Expertise in dem Fachgebiet gegeben sein. Herausgeber:innen werden meist durch Publikationen oder Vorträge auf potenzielle Gutachter:innen aufmerksam. Zudem unterhalten größere Verlage auch Reviewer-Datenbanken, in denen neben den Kontaktdaten auch verzeichnet ist, auf welchem Themengebiet eine Person Expert:in ist. Bei einigen Zeitschriften können Autor:innen bei der Manuskripteinreichung auch Gutachter:innen vorschlagen. Dies erleichtert Herausgeber:innen die Arbeit; diese sind aber nicht an die Vorschläge gebunden.

Wie viele Gutachten sollte man verfassen?

Eine einheitliche Regelung dazu gibt es nicht, weil die Frage eng mit den persönlichen Interessen und verfügbaren Ressourcen und Kapazitäten verknüpft ist. Eine grobe Faustregel zur Orientierung lautet, dass man möglichst so viele Gutachten verfassen sollte, wie man selbst erhalten hat.

Peer Review und gute wissenschaftliche Praxis

Da die Begutachtung Teil der Selbstorganisation der Wissenschaft ist, gelten hierfür auch die Regeln der guten wissenschaftlichen Praxis. Mögliche Interessenskonflikte oder Mangel an Expertise sind daher dem Herausgeber:innengremium gegenüber offen zu legen. Zudem werden Manipulationen des Peer-Review-Verfahrens oder das Abfassen von unrichtigen oder diskriminierenden Gutachten als wissenschaftliches Fehlverhalten gewertet.

Siehe auch

Zeitschriftenqualität und Wahrnehmung: Welche Aspekte sind in Bezug auf Open Access relevant?

Preprints: Frühzeitige Verfügbarmachung wissenschaftlicher Ergebnisse. Was gibt es hier Wissenswertes?

Gute wissenschaftliche Praxis, wissenschaftliches Fehlverhalten und wissenschaftliche Integrität: Was hat es damit auf sich?

Disclaimer

Bitte beachten Sie: Unser Service kann keine verbindliche Rechtsberatung anbieten, sondern stellt Informationen zur ersten Orientierung bereit. ZB MED – Informationszentrum Lebenswissenschaften hat die Angaben auf den folgenden Seiten sorgfältig geprüft, übernimmt aber für mögliche Fehler keine Haftung. Soweit nicht anders angegeben, beziehen sich Ausführungen zu einzelnen Rechtsnormen auf deutsches Recht (Stand FAQ 03/2022).