Qualitätssicherung bei Fachjournalen

von Manfred Schumacher

Fachjournale akzeptieren zur Veröffentlichung eingereichte wissenschaftliche Arbeiten nur, wenn sie vorher von externen Gutachtern auf Qualität geprüft wurden. In der Regel werden bei diesen so genannten Peer-Reviews für jede Veröffentlichung zwei oder mehr Gutachten von Wissenschaftlern oder Fachkollegen eingeholt, die sich in dem Arbeitsgebiet des Autors bestens auskennen. Dabei gelangt gewöhnlich das als Double-Blind bezeichnete Verfahren zur Anwendung, wonach Gutachter und Autor nichts voneinander wissen.

Von Manfred Schumacher

Inhaltsübersicht:

• Qualitätsprüfung – aber wie?
• Kritik am Peer-Review
• Peer-Review mit (Software-)System
• Der wachsenden Informationsflut begegnen

Fachjournale akzeptieren zur Veröffentlichung eingereichte wissenschaftliche Arbeiten nur, wenn sie vorher von externen Gutachtern auf Qualität geprüft wurden. In der Regel werden bei diesen so genannten Peer-Reviews für jede Veröffentlichung zwei oder mehr Gutachten von Wissenschaftlern oder Fachkollegen eingeholt, die sich in dem Arbeitsgebiet des Autors bestens auskennen. Dabei gelangt gewöhnlich das als Double-Blind bezeichnete Verfahren zur Anwendung, wonach Gutachter und Autor nichts voneinander wissen.

Qualitätsprüfung – aber wie?

Insbesondere die so genannten STM-Verlage (Science, Technology, Medicine) reklamieren die Abwicklung des Peer-Reviews bislang als unersetzliche Dienstleistung für sich. Dieser Anspruch scheint allerdings durch aktuelle Entwicklungen in Frage gestellt, die auf eine Öffnung des Peer-Reviews hinarbeiten. Mit Alternativen wartet vor allem die wachsende Zahl der reinen Online-Zeitschriften auf, von denen manche die Beiträge direkt ins Internet stellen, die anschließend von den fachkundigen Lesern begutachtet werden. Beispiele hierfür sind die Zeitschrift Atmospheric Chemistry and Physics (seit 2001) oder die 2006 gegründete Online-Zeitschrift Philica.

Aber auch das Verfahren hat seine Tücken, wie ein Experiment des Fachjournals Nature im letzten Jahr belegt. Das Wissenschaftsmagazin stellte zwischen Juni und September 2006 Artikel vor der offiziellen Veröffentlichung zur Kommentierung online ins Netz – mit mäßigem Erfolg. Nur bei 71 von in dem Zeitraum veröffentlichten 1.369 Artikeln stimmten die Autoren diesem Verfahren zu. Auch die Fachlesergemeinde war mit Kommentaren sehr zurückhaltend, da hier nicht anonym, wie beim herkömmlichen Peer-Review, sondern in namentlich gekennzeichneten Beiträgen Kritik geübt wurde.

Kritik am Peer-Review

Die Kritik am Peer-Review ist ebenso alt wie das Verfahren selbst. Da es sich bei den Gutachtern um Fachkollegen handelt, werden immer mal wieder Gefälligkeiten vermutet, die ein objektives Qualitätsurteil trüben, oder umgekehrt Rivalitäten zwischen Wissenschaftlern, die man verdeckt über ein unbegründet negatives Gutachten austrägt. Weitere Kritikpunkte neben anderen sind die künstlich erhöhten Abweisungsraten mancher Journale, die oft fehlende Transparenz, welche Journale tatsächlich in welchem Umfang externe Gutachter heranziehen, oder der Vorwurf, das herkömmliche Gutachter-Verfahren zur Aufdeckung von Plagiaten, Täuschung und Betrug ungeeignet seien.

Aber auch unabhängig davon erscheint die Arbeit von Gutachtern in Peer-Review-Verfahren zumindest nach dem Urteil des Mediziners Michael Callaham von der University of California, San Francisco, und des britischen Soziologen John Tercier von der University of Lancaster fragwürdig. Weder langjährige Erfahrung, ein hoher akademischer Rang, langjährige Praxis als Gutachter noch spezielles Wissen gewährleisten nach ihrem Urteil, das sie auf die Bewertung von über 2.800 Gutachten stützen, hochwertige Reviews.

Dabei bedeuten Gutachten für diejenigen, die sie erstellen, immer eine Mehrarbeit, die zumeist unentgeltlich erbracht wird. Fachgutachter bei einer anerkannten Wissenschaftszeitschrift zu sein, kann zwar einen Karrieresprung bedeuten, der jedoch auch mit Freizeiteinbußen und der zunehmenden Gefahr, in die Kritik zu geraten, erkauft wird. Bei der wachsenden Zahl nvon Veröffentlichungen, die vorher alle begutachtet werden müssen, fällt es Gutachtern sowohl aus Zeitgründen als auch wegen der zunehmenden Spezialisierung in den Wissensdisziplinen immer schwerer, die Spreu vom Weizen zu trennen. Paradoxerweise verschärft sich das Problem durch eine striktere Ablehnpraxis noch. Abgelehnte Beiträge werden bei anderen Zeitschriften eingereicht, wo sie erneut Gutachter und Begutachtungszeit beanspruchen.

Peer-Review mit (Software-)System

Zu den Kosten, die den Verlagshäusern durch das Peer-Review entstehen, kursieren unterschiedlichste Zahlen. So schwankten die bei Verlagen nachgefragten Ausgaben, die ein Fachkomitee des britischen Unterhauses 2004 zu Tage förderte, zwischen 100 und 10.000 britischen Pfund pro Artikel. Tatsache bleibt jedoch, dass der zusätzliche Peer-Review-Aufwand, den Fachjournale betreiben müssen, zusätzliche Kosten verursacht und überdies die Zeit bis zur Publikation verzögert.

Das sind auch die Hauptgründe für den Markterfolg von Online-Softwaresystemen für Peer-Review, die es seit einigen Jahren am Markt gibt. Ein solches ist Editorial Manager des US-Anbieters Aries Systems, das neben der umfassenden und zum Teil vollautomatisierten Manuskript- und Korrespondenzverwaltung die Gutachterauswahl sowie die Begutachtungsqualität durch spezielle wissensgestützte Funktionen begünstigt. Über eine integrierte Datenbank ermöglicht es die Gutachterwahl aus einem Pool von in Frage kommenden Wissenschaftlern, der je nach Zeitschrift mehrere tausend Namen enthalten kann. Die Auswahl erfolgt automatisiert anhand bestimmter Kriterien wie aktueller Verfügbarkeit und Arbeitsauslastung eines Kandidaten, seiner Fachkenntnis zum Thema sowie seiner Performance in der zurückliegenden Zusammenarbeit.

Den bestmöglichen Gutachter für einen Beitrag zu finden, ist eine Sache, eine andere, den Durchlauf bis zur Publikation möglichst zu beschleunigen. Dem dienen beispielsweise automatisierte Erinnerungsmails an Gutachter, wenn diese vereinbarte Rückgabetermine verstreichen lassen, oder die automatisierte Einladung alternativer Gutachter, falls ursprüngliche Gutachter ablehnen oder in einem bestimmten Zeitraum nichts von sich hören lassen. Die ganze Korrespondenz erfolgt aus Zeitgründen per automatisiertem und trotzdem personalisiertem Formbrief. Damit der Fachgutachter dann nicht nur schnell reagiert, sondern auch ein brauchbares Gutachten abgibt, unterstützt ihn das System durch weitere Routinen. Eine davon ist die Möglichkeit zur automatisierten Prüfung von Quellenangaben und deren Verlinkung mit Fachdatenbanken wie PubMed oder CrossRef. Für mehr Begutachtungsqualität soll auch eine integrierte Suchfunktion sorgen, mit der Gutachter bei Freischaltung unterschiedlichste bibliographische Datenbanken einschließlich Highwire, Medline, Scopus oder Ovid durchsuchen können, um so etwa formalen oder inhaltlichen Schwächen eines Beitrags besser auf die Spur zu kommen.

Der wachsenden Informationsflut begegnen

Systeme wie das von Aries bieten Wissenschaftsverlagen Funktionen, die ihnen helfen sollen, die wachsende Zahl von Veröffentlichungen mit unvermindert hoher Peer-Review-Qualität zu bewältigen. Natürlich werden auch sie nicht verhindern können, dass Artikel mit Mängeln publiziert werden oder sich als Plagiate oder Betrügereien herausstellen. Sie bieten aber die Arbeitserleichterung für Gutachter, die Clifford Lynch von der Coalition for Networked Information in einem von der ALPSP (Association of Learned and Professional Society Publishers) veröffentlichten Fachbeitrag einfordert, um das Peer-Review in einer wachsenden Flut der Wissenserzeugung und -verbreitung funktionstüchtig zu halten.

Annähernd zweieinhalb Millionen Fachbeiträge werden derzeit jährlich in weltweit rund 24.000 Wissenschaftsjournalen veröffentlicht und vorher auf Qualität geprüft. Jährlich kommen Hunderte neuer Zeitschriften hinzu. Die schiere Menge der Veröffentlichungen macht es Zeitschriften, Herausgebern und Gutachtern, aber auch den Bibliotheken als Hauptabnehmern der Wissenschaftsjournale immer schwerer, ihren Aufgaben nachzukommen. Da ist es verständlich, dass man sich über neue Alternativen, wie den von Nature getesteten Open Peer-Review Gedanken macht. Die US-Fachzeitschrift will die partizipative Eignung des Internets für Peer-Review übrigens weiter erkunden. Dabei zeichnet sich ab, dass die Verantwortlichen bei herkömmlichem und alternativem Peer-Review immer stärker auf Software und andere IT-Technololgie zur Unterstützung der Prozesse setzen müssen, um Wissenstransfer und Wissenschaftsbetrieb in erforderlichem Maß aufrechtzuerhalten.