Kategorie: Community

Mit der zunehmenden Verbreitung von Open Access stellt sich die Frage nach der Rolle klassischer Peer Review neu. Denn digitale Veröffentlichungspraktiken erlauben alternative Verfahren wissenschaftlicher Qualitätssicherung.

Über die Schwachstellen von Peer Review (subjektiv, willkürlich, undurchsichtig, langsam, ineffizient) wird viel diskutiert. Doch nach wie vor stellt Peer Review – die offizielle Begutachtung von Texten durch renommierte Wissenschaftlerinnen – eine anerkannte Praxis dar. Peer reviewed Artikel oder Bücher gelten als hochwertiger im Vergleich zu Texten, die auch ohne formelle Freigabe ihren Weg in die Öffentlichkeit finden. Zunehmend gilt die Kategorie auch in den Geisteswissenschaften als ein Gütesiegel, das auf keiner Publikationsliste fehlen sollte.

Doch gibt es tatsächlich Unterschiede zwischen offiziell begutachteten Texten und jenen, die schlichtweg eine Herausgeberin begeistern oder gar von der Autorin eigenständig veröffentlicht werden? Wie sinnvoll ist Peer Review im digitalen Zeitalter, wo es de facto keine physische Platzbeschränkung mehr für Texte gibt? Wie hat Open Access die Bewertung von Texten verändert?

Die Aussagekraft von Gutachten
Peer Reviewer dienen als Gatekeeper. Gutachterinnen sollen dafür sorgen, dass nur Texte, die wissenschaftlichen Standards (Originalität, Schlüssigkeit, Nachprüfbarkeit) genügen, publiziert werden. Damit soll die Qualität von Forschung gewährleistet werden.

Welche Kriterien wirklich maßgebend für die Gutachten sind, ist allerdings nicht immer ersichtlich. Im besten Fall erhält man von Reviewern konstruktives Feedback und der Text gewinnt an Prägnanz, die Argumentation an Schlagkraft. Im schlimmsten Fall nutzen Gutachterinnen ihre Position, um unliebsame Theorien, also ihre Konkurrenz auszubremsen. Originelle Arbeiten bleiben dann im Dunkeln, die Forschung stagniert (s. auch „Does Science Advance One Funeral at a Time?“).

Nicht von der Hand zu weisen ist jedenfalls, dass die individuelle Prädisposition einer jeden Gutachterin immer eine Rolle spielt im Begutachtungsprozess. Dies ist umso wichtiger zu bedenken, wenn nur eine einzige Person über die Veröffentlichung entscheidet. Neben objektiven Kriterien bestimmen in der Regel allgemeine, oftmals unbewusste Vorurteile gegenüber der Autorin (etwa aufgrund des Namens, der Reputation, des Herkunftslandes oder des Geschlechts) die Entscheidung. Wie aussagekräftig ist also das Prädikat „peer reviewed“?

Unterschiedliche Standards und Verfahren
Peer Review ist nicht gleich Peer Review. Die Begutachtungsverfahren können sich nicht nur von Verlag zu Verlag unterscheiden, sondern auch von Zeitschrift zu Zeitschrift. So werden manchmal nur ein einziges Gutachten, manchmal zwei oder mehr eingeholt. Manche Peer Review-Verfahren sind „single blind“, d.h. die Gutachterin kennt den Namen der Autorin, die Autorin aber nicht jenen der Gutachterin; manche Verfahren gehen „double blind“ von statten, d.h. beide, Gutachterin und Autorin, bleiben anonym. Um Transparenz in die unterschiedlichen Verfahren zu bringen und sie vergleichbar zu machen, führt die OAPEN Library die jeweilige Vorgehensweise der an ihrer Plattform beteiligten Verlage auf.

Anonymität vs. Fairness
Die Anonymität der Reviewer soll unabhängige, faire und freimütige Gutachten ermöglichen. Doch zu welch unausgegorenen Äußerungen einseitige Anonymität verleiten kann, kennt man nur zu gut von den Kommentarspalten im Internet. Wie das Feedback von Reviewern mitunter aussehen kann, ist auf dem recht unterhaltsamen Tumblr-Blog „Shit my Reviewers Say“ zu lesen.

Dreht man den Spieß um und anonymisiert allein die Autorin, wie es Martin Paul Eve, Mitgründer der Open Library of Humanities, in einem Gedankenspiel demonstriert, wird Vorurteilen Einhalt geboten und zudem konstruktives Feedback gefördert, da die Gutachterin mit ihrem Namen einstehen muss. Außerdem wird so die – meist unbezahlte – Gutachterinnentätigkeit gewürdigt (um die Würdigung von Peer Review geht es auch in der diesjährigen, gerade stattfindenden Peer Review Week). Gleichzeitig steigt der Druck auf die Reviewerin, einwandfreie und damit eher konservative Arbeiten freizugeben, um der Kritik der Kolleginnen vorzubeugen. Auch so können also Veröffentlichungen progressiver Forschung verhindert werden.

Grundsätzlich ist anzuzweifeln, ob man innerhalb einer kleineren, überschaubaren Disziplin Anonymität überhaupt gewährleisten kann oder ob nicht Thema und Position des eingereichten Textes bzw. des Feedbacks ohnehin auf die Identität der Autorin bzw. der Gutachterin hinweisen.

Einen Leitfaden für Gutachterinnen, wie ein verantwortlicher Peer Review-Prozess so oder so aussehen sollte, hat das Committee on Publication Ethics (COPE) erstellt.

Transparenz durch Open Peer Review
Um dem undurchsichtigen Verhältnis zwischen Gutachterin und Autorin entgegenzuwirken, gibt es mittlerweile mehr und mehr Formen der Open Peer Review. Dabei werden beispielsweise die Gutachten mitveröffentlicht, wie etwa im digitalen Video Essay-Journal [in]Transition. Dadurch wird das Feedback als wichtiges Instrument in der Entstehung wissenschaftlicher Texte gewürdigt. Doch da die auf der Website zu sehenden Arbeiten bereits für veröffentlichungswürdig befunden wurden, fallen die Gutachten entsprechend positiv und wenig kritisch aus. Warum ein eingereichter Text nicht publiziert wird, erfährt allein die Autorin. Wie bei der traditionellen Peer Review werden die Gutachten vor der Veröffentlichung erstellt (pre-publication review).

Eine nachträgliche Form der Open Peer Review (post-publication review) stellen Kommentare dar – eine Praxis, die etwa das Content Management-System von MediaCommons Press (s. z.B. Open Review. A Study of Contexts and Practices) oder das Annotationsprogramm Hypothes.is (s. auch diese Website) unterstützen. Arbeiten können mittels Kommentarfunktion noch lange nach Erscheinen öffentlich diskutiert werden. Dadurch wird der Tatsache Rechnung getragen, dass Wissenschaft kollaborativ funktioniert, dass Publikationen immer nur ein Zwischenergebnis eines langwierigen Arbeitsprozesses darstellen können und dass Forschung niemals abgeschlossen ist. Der Gebrauch der Kommentarfunktion hält sich bei wissenschaftlichen Texten im Gegensatz zu Nachrichtenportalen allerdings in Grenzen. Die Hemmungen, seinen Senf zu einem Text öffentlich – und vor allem schriftlich – dazuzugeben, scheinen unter Akademikerinnen (noch) zu groß.

Inoffizielle Qualitätssicherung
Dafür ermöglichen inoffizielle Feedbackrunden (ob mündlich oder schriftlich) einen produktiven Austausch. Wichtige Texte werden nämlich ohnehin vorab von Kolleginnen gegengelesen und auf Konferenzen diskutiert und passieren mehrere Stufen der Überarbeitung bevor sie Autorinnen zur Veröffentlichung einreichen. Diesen crowdsourced Peer Review-Prozess, mit Hilfe dessen im Grunde alle Publikationen entstehen, öffentlich vonstatten gehen zu lassen, dafür setzt sich Kathleen Fitzpatrick ein, die 2009 einen ersten Versuch mit ihrem Buchprojekt Planned Obsolescence gestartet hat. Weitere Publikationen wie die oben genannte Studie zu Open Peer Review oder Jason Mittells Buch Complex TV. The Poetics of Contemporary Television Storytelling haben sich Fitzpatricks Experiment zum Vorbild genommen.

Crowd Review dank Preprint-Server
Preprint-Server – Onlineplattformen, auf denen Wissenschaftlerinnen ihre Texte schon vor der offiziellen Veröffentlichung hochladen können – sind der beste Beweis dafür, dass auch (noch) nicht formell begutachtete Texte längst als ernstzunehmende Publikationen gelten. Preprint-Server wie arXiv.org für Physik, Informatik und Mathematik oder das leider in Verruf geratene Social Science Research Network (SSRN) für Wirtschaftswissenschaft und Jura sind für viele Wissenschaftlerinnen nicht mehr wegzudenken; die sich im Aufbau befindende Plattform SocArXiv für Sozialwissenschaften wächst stetig.

Zumindest aus wissenschaftlicher Sicht scheint der auf eine Veröffentlichung auf einem Preprint-Server in einer Zeitschrift folgende peer-reviewed Artikel an Bedeutung zu verlieren. „We now read papers, not journals“, konstatiert George Lozano in seinem Blogpost zum Impact Factor und der sinkenden Relevanz renommierter Zeitschriften. Preprint-Server erlauben der Community jedenfalls, Forschungsergebnisse lange vor dem Abschluss eines mehrmonatigen Peer Review-Verfahrens und der endgültigen – in der Regel gedruckten – Fassung zu lesen und zu evaluieren.

Qualität durch Open Access
Wenn mit der zunehmenden Verbreitung von Open Access und digitalen Publikationen Texte insgesamt leichter zugänglich sind und eher gelesen werden, ist anzunehmen, dass sich Autorinnen stärker denn je darum bemühen, gute Arbeiten zu präsentieren. Onlinepublikationen sorgen für mehr Transparenz und Vergleichbarkeit. Ein und derselbe Text lässt sich dann nicht mehr so leicht unter unterschiedlichen Titeln in verschiedenen Sammelbänden oder Zeitschriften unterbringen – was in Zukunft vielleicht die Bedeutung von Publikationslisten relativieren wird und auch die Kategorie „peer reviewed“.