Warum Rankings für Wissenschaftler eine schlechte Idee sind

28. 01. 2020 Wer schreibt der bleibt. Wissenschaftler werden immer mehr anhand der mit Punkten bewerteten Menge ihrer Fachaufsätze bewertet. Das funktioniert aus vielen Gründen nicht gut. Einen Grund haben nun italienische Ökonomen mit einem empirischen Nachweis versehen. Die vermeintlich objektiven Systeme sind anfällig für Manipulation…

Im letzten Jahrzehnt haben mehrere europäische Länder Systeme zur Bewertung der Arbeit von Wissenschaftlern eingeführt, die auf zahlenmäßige Messung ihres Publikationsoutputs setzen. Nur wer eine hohe Punktzahl erreicht, wird Professor oder Professorin oder bekommt Forschungsgelder. Das Lesen und Beurteilen der Originalität und Qualität von Forschungsarbeiten durch Berufungs- und Bewilligungskommissionen wird immer mehr ersetzt durch den schnellen Blick auf eine einzige Zahl.

Zu diesen „bibliometrischen“ Maßen zählen vor allem die Anzahl wissenschaftlicher Fachaufsätze, eventuell gewichtet nach der unterstellten Qualität der Zeitschrift, und der Häufigkeit, mit der die Fachaufsätze in anderen Aufsätzen erwähnt werden. Das soll objektiver sein als die bisher übliche Beurteilung durch Gremien von Forschern.

Kritiker solcher Ansätze bemängeln, dass sich die Qualität wissenschaftlicher Forschung nur sehr unvollkommen mit derartigen Indikatoren messen lässt. Sie befürchten, dass sich Forscher zu sehr für ihre Punktzahl interessieren. Falls die Punktzahlen gute Forschung nur sehr unvollkommen messen, wäre das ein Rückschritt.

Italien hat ein solches System 2010 eingeführt. Seither stützen sich Entscheidungen zur Einstellung und Beförderung von Professoren stark darauf, wie oft Aufsätze der jeweiligen Forscher zitiert werden. Drei italienische Ökonomen haben nun die Wirkungen untersucht. Das Ergebnis bestätigt recht eindrucksvoll die Sorgen der Kritiker.

Alberto Baccini, Giuseppe De Nicolao und Eugenio Petrovich von den Universitäten Siena und Pavia berechneten einen Binnenzitationsindex und verglichen diesen im Zeitablauf vor und nach der Reform, sowie international. Der Index misst, welcher Anteil der Zitierungen aus dem Land des Zitierten kommt, beziehungsweise bei mehreren Autoren aus dem Land von mindestens einem der Autoren.

Punkte sammeln statt sinnvoll forschen

Die drei stellen eine sehr markante Veränderung nach Einführung des neuen Beurteilungssystems fest. Zwischen 2008, als die Reform bereits absehbar war, und 2016 stieg der Anteil der Binnenzitate in Italien um 8,3 Prozentpunkte, doppelt so stark wie in den zehn größten Industrieländern insgesamt. Im Jahr 2000 hatte Italien mit seinem Binnenindex von gut 20 Prozent noch an sechster Stelle gestanden. Im Jahr 2016 lagen die italienischen Forscher mit 30,7 Prozent an zweiter Stelle. In 23 von 27 wissenschaftlichen Disziplinen war der Anstieg des Indexes in Italien am höchsten.

Eine harmlose Erklärung dafür wäre, dass die italienischen Wissenschaftler verstärkt internationale Kooperationen eingegangen wären. Aber das Gegenteil war der Fall. 2016 war Italien das Land mit dem geringsten Anteil an internationalen Koproduktionen in der Forschung.

Für die drei Autoren bleibt als Erklärung für den plötzlichen Anstieg der Binnenzitierungen eigentlich nur die Absicht, durch Eigenzitationen und informelle Klubs zum gegenseitigen Zitieren die regierungsamtlichen Erfolgsmaße nach oben zu treiben. Wohl nicht von ungefähr war diese Reaktion in den Wirtschaftswissenschaften am ausgeprägtesten. Schließlich befassen sich Wirtschaftswissenschaftler schwerpunktmäßig mit der Wirkung von Anreizen.

Die Möglichkeit der Manipulation ist nur eines der Probleme der zahlenmäßigen Bewertung von Forschungsoutput. Andere wiegen wohl schwerer, sind aber kaum zu quantifizieren; etwa dass Wissenschaftler möglicherweise risikoscheu werden und statt wirklich kreativer Forschung zu schwierigen Fragen lieber kleine Verbesserungen auf ausgetretenen Pfaden versuchen. Bei Letzterem kann man ziemlich sicher sein, dass etwas Publikationsfähiges dabei herauskommt. Dagegen hat auch das beste Forschungsdesign nur geringe Veröffentlichungschancen, wenn das Ergebnis negativ ist.

Ein weiteres schwerwiegendes Problem ist die zunehmende Macht der Herausgeber einiger weniger besonders punkteträchtiger Zeitschriften. Das macht das System nicht nur potentiell unfair, es könnte auch neue Ideen behindern, weil Wissenschaftler zusätzliche abgeschreckt werden könnten, neue Ansätze und Ideen zu verfolgen, die die Errungenschaften das Establishment des jweiligen Fachgebiets in Frage stellen.

Wirklich neuartige Ergebnisse, die den bisherigen Forschungsstand auf den Kopf stellen, brauchen zudem oft lange, um akzeptiert und zitiert zu werden. So hat das Ökonomenteam Jian Wang, Reinhilde Veugelers und Paula Stephan von den Universitäten Leuven und Georgia ermittelt, dass neuartige Forschungsdesigns zwar eine höhere Wahrscheinlichkeit haben, zu dem einen Prozent der am meisten zitierten Aufsätze aufzusteigen, dass diese Anerkennung aber mit vier bis neun Jahren viel länger braucht als der Zeitrahmen, in dem junge Wissenschaftler bewertet werden und Karriere machen – oder eben nicht.

Schließlich wird gegen den Zahlenfokus auch vorgebracht, dass dadurch erwünschte Aktivitäten abgewertet werden, die nicht so leicht quantifizierbar sind, etwa eine gute Lehre oder Engagement als Gutachter von Zeitschriften. Wer Karriere machen will, wird solche Aktivitäten dann zurückfahren, weil er andernfalls schlechte Chancen hat, gegen Konkurrenten zu bestehen, die es tun.

Es geht auch anders

Dass man auch gut ohne simples Abzählen von Aufsätzen oder Zitierungen auskommen kann, wenn man über Einstellungen, Beförderungen oder Vergabe von Forschungsmitteln entscheidet, wurde Ende Oktober bei einem Kongress der interdisziplinären Anti-Bibliometrie-Initiative „Dora“ deutlich, die im Internet übertragen wurde. Dora steht für Declaration on Research Assessment und wurde 2012 in den USA gegründet.

Dort berichtete unter anderem Frank Miedema unter dem Titel „Weniger Zahlen, bessere Wissenschaft“, von dem System, das die Mediziner der Universität Utrecht vor etwa fünf Jahren eingeführt haben, um vom bequemen Blick auf Publikationsranglisten weg zu kommen.

Bewerber müssen nun einen kurzen Aufsatz darüber einreichen, wer sie sind und welche Pläne sie als Mitglied der Fakultät verfolgen würden. Sie sollen ihre bisherigen Erfolge in fünf Kategorien darlegen. Nur eine davon fokussiert auf Publikationen und eingeworbene Forschungsmittel. Eine andere besteht aus übernommenen akademischen und Verwaltungsaufgaben, etwa Gutachtertätigkeit oder Mitgliedschaft in Kommissionen. Kandidaten sollen darlegen, wie viel Zeit sie auf die Betreuung von Studenten verwenden, welche Kurse sie konzipiert und welche sonstigen Aufgaben sie in der Lehre übernommen haben. Soweit einschlägig berichten sie von klinischen Tätigkeiten und eigenen unternehmerischen Initiativen und als fünftes von ihren Bemühungen um Wissenstransfer in die Gesellschaft. Die Vorsitzenden des Berufungs- oder Beförderungskomitees verpflichten sich, dafür zu sorgen, dass alle fünf Bereiche angemessen diskutiert werden.

Als besonders wichtig für den Erfolg der Reform bezeichnete es Miedema, dass die Reform zwar von oben angestoßen wurde, dass aber die genauen Kriterien in einer Reihe von Workshops von den Mitgliedern der Fakultät entwickelt wurden – also von denen, die auf dieser Basis bewertet werden und andere bewerten müssen.

Der Aufwand dieses Old-School-Verfahrens ist sicherlich größer als wenn man sich auf bibliometrische Maße stützt. Aber in Utrecht scheint man sehr zufrieden damit zu sein.