5 Fragen zum Peer Review Verfahren

Im Zuge der letzten Jahre hat der Begriff Peer Review an Popularität gewonnen. Wann immer eine These im Peer Review Verfahren bestätigt worden ist, gilt sie als die Stimme der endgültigen Autorität. Als ob sie die Götter des Olymps persönlich als wahrhaftig bestätigt hätten. Es ist allerdings wenig über den tatsächlichen Ablauf des Peer Review Verfahrens und seine Tücken bekannt. Denn eigentlich ist das Verfahren mehr von menschlichen Launen geprägt als sein Ruf es vermuten lassen würde.

Ich bin selbst seit über zehn Jahren im wissenschaftlichen Publikationsprozess involviert. Von Aussenstehenden bekomme ich oft eine Variante der gleichen fünf Fragen gestellt. Meine Antworten darauf erklären, wieso es an der Zeit ist, den unangefochtenen Status des Peer Review Verfahrens in Frage zu stellen.

Das Peer Review Verfahren entstand  aufgrund der Notwendigkeit, wissenschaftliche Behauptungen durch eine Autorität bekräftigt zu wissen.. Während es im antiken Griechenland üblich war, Priester und Orakel nach Rat zu Fragen, verlässt sich die heutige Wissenschaft auf das Peer Review Verfahren, um damit  einer Behauptung einen vergleichbar hohen Status an angenommener, endgültiger Wahrhaftigkeit  zu verleihen.

Das Peer Review Verfahren ist ein vereinheitlichter Prozess, der die Qualität einer Behauptung durch mehr als eine Expertenmeinung überprüft. In der wissenschaftlichen Forschung ist die Peer Review die parallele Begutachtung eines wissenschaftlichen Manuskripts durch zwei oder mehrere Experten – sogenannte peers, also «Ebenbürtige», oder besser gesagt Gutachter.

Jedes wissenschaftliche Manuskript kann der Peer Review unterworfen werden, wie zum Beispiel Bücher, Zeitschriftenartikel oder sogenannte Abstracts, also Zusammenfassungen für Konferenzen. Der Herausgeber und das Herausgebergremium entscheiden dann über die Qualität und Wahrhaftigkeit der im Manuskript beschriebenen Studie.

Nehmen wir einmal Zeitschriftenartikel als Beispiel. Forscher, die ein Manuskript bei einer Zeitschrift einreichen, tun dies im Sinne ihrer Karriere. Sie entscheiden sich entsprechend für das prestigeträchtigste Publikationsorgan. Im Allgemeinen sind Peer Review gestützte Zeitschriften prestigeträchtiger als andere Publikationsorgane.

Sobald der Artikel eingereicht worden ist, entscheidet der Herausgeber, ob die Qualität und das Thema der Ausrichtung der Zeitschrift entsprechen. Wenn sie dies nicht tun, lehnt der Herausgeber den Artikel direkt ab – eine sogenannte Desk Rejection. In einem solchen Falle sollte der Artikel entweder revidiert oder einem passenderen Publikationsorgan unterbreitet werden.

Stuft der Herausgeber den Artikel als passend ein, wählt er die qualifiziertesten Gutachter und fragt sie an, ob sie das Manuskript beurteilen würden. Je nach Beurteilung durch die Gutachter wird der Herausgeber daraufhin den Artikel entweder ablehnen oder ihn annehmen. Meistens wird der Artikel nur unter der Bedingung, dass er nochmals überarbeitet wird, angenommen. Der Umfang der geforderten Überarbeitung kann stark variieren.

Nachdem der Artikel angenommen worden ist, geht er in die Produktion. Der Lektor stellt sicher, dass sich der Text an die Vorgaben des Leitfadens hält; dies kann eine weitere Runde an Revisionen zur Folge haben. Die meisten Zeitschriften nehmen allerdings von vornherein nur Artikel an, die bereits dem Leitfaden entsprechen. Zu guter Letzt bringt der Schriftsetzer des Verlags den Artikel in das richtige Format.

Wird der Artikel abgelehnt oder ist der Autor mit den verlangten Revisionen nicht einverstanden, kann er den Artikel zurückziehen und ihn bei einer anderen Zeitschrift einreichen. Das ist nicht unüblich, auch wenn es die bis dahin für das Peer Review Verfahren geleistete Arbeit zunichte macht. In Fachgebieten, in denen Experten rar sind, kann es auch bedeuten, dass bei der nächsten Zeitschrift keine passenden Gutachter mehr gefunden werden können.

Die Gutachter beurteilen den Artikel, indem sie in etwa folgende Fragen beantworten:

Nachdem er die Gutachten erhalten hat, schickt der Herausgeber dem Autor seinen Entscheid zusammen mit den Kommentaren der Gutachter. Dieser Prozess kann unangenehm lange dauern und am Ende dazu führen, dass die Daten zum Zeitpunkt der Herausgabe des Artikels bereits wieder veraltet sind. Man stelle sich aber vor, dass noch vor 30 Jahren Manuskripte in die Welt verschifft wurden, damit sie dem richtigen Gutachter vorgelegt werden konnten!

In der sogenannten «blinden» Peer Review wird weder der Name des Autors noch derjenige der Gutachter bekannt gegeben. Wenn ein Fachgebiet klein ist oder ein Name bekannt, kann es unter Umständen jedoch ein Einfaches sein, zu erraten, um wen es sich handelt.

Als ich zum ersten Mal ein Manuskript einer prestigeträchtigen Zeitschrift vorlegte, waren Spezialisten so rar und meine Daten so gesucht, dass es für den Herausgeber schwierig war, qualifizierte Gutachter zu finden. Schlussendlich gab es zwei Durchläufe mit insgesamt sechs Gutachtern aus verschiedenen Fachbereichen.

Einige der Gutachter sorgten sich nicht um ihre Anonymität und liessen ihre Namen gleich im Dokument stehen. Ich war ihnen sehr dankbar für ihre wohlwollenden und hilfreichen Kommentare, insbesondere darum, weil ihre Expertise für mich als zu jener Zeit unerfahrene Forscherin unersetzlich war. Andererseits hat es aufgrund der Eigenheiten meines Fachbereiches und wegen des Artikelbestands der Zeitschrift schlussendlich vier Jahre gedauert, bis ich meinen ersten Peer Review geprüften Artikel in den Händen hielt.

Es kommt selten vor, dass ein Artikel ohne Überarbeitung angenommen wird. Fast jeder Artikel muss noch auf die eine oder andere Art überarbeitet werden, auch wenn es nur darum geht, den Text an den Leitfaden der Zeitschrift anzupassen.

Es ist essenziell, dass der Leitfaden eingehalten wird, denn die geschriebene akademische Sprache ist äusserst präzise und muss alle Konventionen befolgen – vom genau gewählten Begriff bis zum richtigen Einsatz von Zeichen und Schrifttypen. Letztere haben immer eine zusätzliche Bedeutung: Kursivschrift, zum Beispiel, kennzeichnet Wörter, die entweder besprochen werden oder aus einer Fremdsprache stammen, und fette Schrift wird zum Hervorheben eingesetzt. Zeichen wie Binde- und Gedankenstriche haben unterschiedliche Bedeutungen und sollten nicht verwechselt werden.

Die überwiegende Mehrheit der wissenschaftlichen Publikationen  erscheint heutzutage auf Englisch. Die meisten davon werden von nicht Muttersprachlern verfasst. Es wird jederzeit akademische Standardsprache verlangt, und die Artikel erhalten von Gutachtern oft den Vermerk «sollte von einem Muttersprachler überprüft werden». Dieser Kommentar ist unprofessionell; was eigentlich gemeint ist, ist der Vorschlag, ihn noch von einem Lektor redigieren zu lassen.

Die Gutachter werden vom Herausgeber und dem Herausgebergremium ausgewählt. Sie sollten etablierte Experten ihres Fachs sein und seit mehreren Jahren erfolgreich forschen und publizieren, unabhängig davon, wo sie arbeiten; einzig ihre Expertise zählt. Das vereinte Wissen der Gutachter soll gewährleisten, dass die Forschung relevant, methodologisch einwandfrei und faktisch korrekt ist.

Es gibt allerdings keine übergeordnete Instanz – auch nicht Zeus und die griechischen Götter – die garantiert, dass diese Kriterien erfüllt werden. Der Herausgeber und das Herausgebergremium haben sich dazu verpflichtet.

Dementsprechend variiert auch die Qualität der Expertise der Gutachter und ihre Bereitschaft, diese zu teilen. Wohlwollende Experten können einen Artikel erheblich verbessern, indem sie wichtige Kommentare und Vorschläge einbringen. Sie sind allerdings nicht dazu verpflichtet, dies zu tun.

Wenn ein Autor in einem Bereich forscht, der von gewissen Experten dominiert wird, ist es weise, deren Namen prominent zu erwähnen. In meinem Fachgebiet gab es lange zwei Lager, die sehr emotionale und teilweise persönliche Debatten führten. Dies hatte zur Folge, dass die Wahl der Zeitschrift und die zitierten Namen in die Publikationsstrategie miteinbezogen werden mussten. Peer Review und akademisches Publizieren hat viel mit Politik gemein.

Gutachter erhalten keinen Kreuzer für ihre Expertise und ihre Arbeit im Peer Review Verfahren. In der Tat würde sich die von ihnen geleistete freiwillige Arbeit in ihrer Gesamtheit auf über USD 100,000,000 summieren. Aber die freiwillige Peer Review zählt zu dem «Service», den Forscher leisten. Alles, was unter diese Kategorie fällt, ist Teil des Pflichtenhefts. Das bedeutet, dass immer, wenn ein Gutachter nicht für eine private Institution oder Firma arbeitet, sein Lohn und somit auch sein «Service» von Steuergeldern bezahlt werden.

Aus diesem Grund sind Gutachter oft auch frustriert: Sie werden für ihre Expertise kaum bezahlt. Und weil die Frustration hoch ist und die Bezahlung tief, ist es verständlicherweise schwierig, qualitativ hochstehende Gutachten zu erhalten. Folglich werden vermehrt Stimmen laut, die sagen, das Peer Review Verfahren sei bereits tot.

Ein Durchgang im Peer Review Verfahren stützt sich meistens auf zwei bis drei Gutachter. Wenn einer davon herablassend ist, dann wird er geläufig als «Gutachter Zwei» bezeichnet. Unter Forschern gilt Gutachter Zwei als der Miesepeter. Er ist derjenige, der sagt, es brauche noch eine weitere Studie, um die Behauptung zu validieren. Er argumentiert, dass es nicht genug sei, Sprachkontakt in Johannesburg zu studieren, denn dieselbe Studie müsse parallel auch noch in São Paulo und Manila durchgeführt werden.

Er sagt vielleicht auch, dass die Resultate weder neuartig noch irgendjemandes Zeit wert seien. Und ganz wichtig: Er verlangt, dass seine Forschung auch noch erwähnt werde, denn ohne sie sei die vorliegende Studie wertlos – und damit verrät er, wer er ist. Er mag in gewissen Punkten recht haben, aber er wird den Autor möglicherweise dazu bringen, seinen Artikel zurückzuziehen und ihn einer anderen Zeitschrift zu unterbreiten – womit das ganze Verfahren wieder von Neuem beginnt.

Die unangenehme Art von Gutachter Zwei kann auch zur Folge haben, dass gewisse Autoren sich ein Bein ausreissen, damit ihr Artikel publiziert werden kann. So ist der Versuch, Gutachter Zwei zu gefallen, einer der wichtigsten Mechanismen, der aus der akademischen Sprache das gemacht hat, was sie heute ist: eine unspezifische, abstrakte, alles-umfassende-ohne-eine-verpflichtende-Aussage-zu-machende Art der Sprache mit einem  zu recht schlechten Ruf.

Ich würde sagen, ja. Die Peer Review ist immer nur so gut wie die daran beteiligten Akteure. Leider ist ein erheblicher Teil des Peer Review Verfahrens von Interessen gesteuert, die wenig mit wissenschaftlichen Erkenntnissen zu tun haben. Solange diese Situation besteht, wird auch sein Zerfall weitergehen.

Einige Fachbereiche, insbesondere der Bereich der innovativen Technologie, haben die Entwicklung weg vom schwerfälligen Publikationsprozess bereits eingeläutet. Hier sind unkompliziert publizierte Konferenzbeiträge, sogenannte «Conference Proceedings», die nach einer wichtigen, von der Industrie finanzierten Konferenz herausgegeben werden, bereits das gefragteste Format.

Wenn das Peer Review Verfahren weiterhin Bestand haben soll, benötigt es eine gründliche Überarbeitung. Ein möglicher Anfang wäre, seine glorreiche Reputation zu hinterfragen.