Wissenschaftliche Reputation und Forschungsbewertung – was muss ich wissen?

Bei den nachfolgenden Ausführungen handelt es sich um eine vereinfachte Darstellung, die lediglich eine Einführung in das Thema darstellt. Auf alle fachspezifische Besonderheiten oder individuelle Faktoren kann nicht eingegangen werden.

Einführung

Für die wissenschaftliche Reputationsbildung sind folgende Aspekte zentral:

• Inhaltliche Qualität der Forschungsidee, 
• Publikationen (Output),
• Zitationen (Impact),
• eingeworbene Projekte und Drittmittel.

Weitere Aspekte, die zum Reputationsaufbau beitragen können, sind z.B. Qualität der Lehre, Anzahl der betreuten Arbeiten von Studierenden oder Doktorand:innen, Einbindung in die jeweilige Fachcommunity beispielsweise über Herausgeber:innenschaften sowie die Fähigkeit, Forschungsergebnisse allgemeinverständlich zu erklären und in die Öffentlichkeit zu tragen.

Inhaltliche Qualität der Forschungsidee und -ergebnisse

Grundvoraussetzung für den wissenschaftlichen Reputationsaufbau sind Forschungsideen, die in dem jeweiligen Feld und unter Berücksichtigung des bisherigen Forschungsstandes und mit geeigneter Methodik für einen Erkenntniszugewinn sorgen und/oder ein Problem lösen. Dies wird über die Begutachtung durch andere Fachwissenschaftler:innen – also in einem Peer-Review-Verfahren – festgestellt.

Publikationen (Output)

Publikationen sind zentrales Mittel zur Verbreitung wissenschaftlicher Erkenntnisse und daher essentiell für den Reputationsauf- und -ausbau. Ohne Publikationen besteht kaum die Chance, in der Fachcommunity als Wissenschaftler:in wahrgenommen zu werden. Um die Bedeutung von Publikationen in der Wissenschaft zu verdeutlichen, wird häufig der Ausdruck „Publish or perish“ verwendet, der sich sinngemäß übertragen lässt mit „wer schreibt, der bleibt“. 
Zudem spielen der Publikationstyp und das Renommee des Publikationsorgans oder Verlags eine Rolle. In den Lebens­wissen­schaften sind Publikationen in begutachteten wissenschaftlichen Zeitschriften wichtig, die eine gewisse Bekanntheit in der jeweiligen wissenschaftlichen Community haben. In einigen lebenswissenschaftlichen Communitys ist zudem wichtig, ob die Zeitschrift in der Datenbank PubMed ausgewertet wird und ob sie über einen Journal Impact Factor (JIF) verfügt, der die durchschnittliche Zitierhäufigkeit der Artikel in dieser Zeitschrift angibt. 
In der Informatik hingegen sind Konferenzbeiträge für einschlägige Fachkonferenzen zentral, während in den Sozial- und Geisteswissenschaften sowie in den Rechtswissenschaften Buchpublikationen in renommierten Verlagen besonders zur Reputation beitragen.
Publikationen zahlen dabei nicht nur auf das Renommee einer:es Wissenschaftler:in ein, sondern auch auf das einer wissenschaftlichen Institution. Auch Forschungsförderungseinrichtungen haben ein Interesse daran, dass die von ihnen geförderten Projekte Output in Form von Publikationen generieren.

Zitationen (Impact)

Beim Reputationsaufbau entscheidend ist auch, inwieweit die publizierten wissenschaftlichen Ergebnisse zu einem Erkenntnisgewinn und zur Weiterentwicklung im Forschungsfeld beitragen, indem sie von anderen Wissenschaftler:innen aufgegriffen werden. Eine Möglichkeit, dies zu messen, ist das Auszählen von Zitationen – also die Ermittlung, wie häufig eine Ausgangspublikation zitiert worden ist. Dies erfolgt systematisch in sogenannten Zitationsdatenbanken wie Web of Science oder Scopus. Auch Google Scholar zählt Zitierhäufigkeiten aus. Die hier ermittelten Zahlen werden dann zu Indikatoren wie z.B. dem h-Index weiterverrechnet oder für Benchmarks wie die „feldspezifische Zitatrate“ genutzt. Die Höhe der Zitationsrate ist abhängig vom Zitierverhalten im jeweiligen Feld. Zudem können Zitationsraten nur für Publikationen ausgewertet werden, die in entsprechenden Datenbanken enthalten sind. Der Rückschluss von der Anzahl der Zitationen auf die Qualität einer Publikation ist nicht möglich.

Eingeworbene Projekte und Drittmittel

Zur Realisierung von Forschungsprojekten sind Ressourcen notwendig, die an Universitäten, Hochschulen und außeruniversitären Forschungseinrichtungen zumeist nicht im vollen Umfang zur Verfügung stehen. Um die Projekte realisieren zu können, müssen daher Drittmittel bei mittelgebenden Einrichtungen wie dem Bundesministerium für Bildung und Forschung (BMBF) oder der Deutschen Forschungsgemeinschaft (DFG) eingeworben werden. Hierzu werden Projektanträge gestellt, in denen die Forschungsidee sowie die dazu benötigten Mittel dargelegt werden. Diese Anträge werden unter anderem dahingehend begutachtet, inwieweit die Projekte den Zielen im jeweiligen Förderprogramm entsprechen, welche Erkenntnisse damit generiert oder welche Probleme gelöst werden, ob die Methodik geeignet ist, um entsprechende Ergebnisse zu erzielen und wie mit Blick auf die beantragten Mittel die Erfolgschancen sind, dass das Projekt auch zu den gewünschten Ergebnissen führt. Da innerhalb eines Förderprogramms in der Regel mehr Mittel beantragt werden als Geld zur Verfügung steht, werden nur auf der Grundlage der Begutachtung ausgewählte Projekte gefördert. Die Anzahl der Projekte und die Höhe der eingeworbenen Drittmittel sind daher reputationsfördernd, da sie ein Indikator dafür sind, inwieweit eigene Forschungsideen ausreichend problemlösungsorientiert und/oder innovativ sind, um hierfür Geld zu erhalten.
Neben einer förderfähigen Forschungsidee ist außerdem einschlägige Forschungserfahrung notwendig, die unter anderem wiederum durch Publikationen und deren Impact nachgewiesen wird.

Forschungsbewertung

Eine Bewertung von Forschung und dem bislang aufgebauten Renommee findet auf unterschiedlichen Ebenen im Wissenschaftsbetrieb statt:

• Bewertung von Forschenden z.B. bei Berufungen, Einwerben von Forschungsgeldern (Career Assessment),
• Förderentscheidungen bei Projekten,
• Bewertung von geförderten Forschungsprojekten (laufend oder abgeschlossen),
• Bewertung von Institutionen (für Vergleiche, Rankings etc.).

Forschungsbewertung ist notwendig, da die Ressourcen im Wissenschaftsbetrieb grundsätzlich knapp sind, d.h. es gibt in der Regel mehr Bewerbungen als Stellen oder Forschungsgelder. Mit der Forschungsbewertung wird somit indirekt auch die Funktionsfähigkeit von Forschung sichergestellt. Gleichzeitig hat die Art der Bewertung auch Einfluss auf die Forschungskultur und -qualität.
Man unterscheidet die inhaltliche qualitative Bewertung mittels Peer Review und die quantitative Forschungsbewertung. Letztere wird unterstützt durch Bibliometrie, die im Wesentlichen „Output“ und „Impact“ misst und daraus entsprechende Indikatoren berechnet.

Kritik an der Praxis der Forschungsbewertung und Forderung nach Reformierung

In den letzten Jahren werden vor allem der Fokus auf und die Fehlentwicklungen in der quantitativen Forschungsbewertung kritisiert. Insbesondere die Verkürzung auf wenige – darüber hinaus auch noch kritikwürdige – Kennwerte wird als bedenklich gesehen. Diskutierte Kennwerte sind zeitschriftenbasierte Indikatoren wie der Journal Impact Factor oder solche, die Input- und Outputkennzahlen zu einem Indikator verrechnen, wie z.B. der h-Index. Zeitschriftenbasierte Indikatoren werden kritisiert, weil hierbei die durchschnittliche Zitierhäufigkeit der Artikel in einer Zeitschrift mit der Qualität der Zeitschrift und der darin erschienenen Artikel gleichgesetzt wird. Der h-Index wird als unzureichend betrachtet, weil er die Leistungen von Wissenschaftler:innen nur eingeschränkt abbildet und Vergleiche von Forschungskarrieren kaum möglich sind. 
Befürchtet wird zudem, dass sich Wissenschaftler:innen beim Aufbau ihrer Reputation lediglich auf die Erhöhung des Outputs und des Impacts konzentrieren, weil die Bewertungssysteme darauf basieren. Ebenfalls befürchtet wird, dass hierbei Fehlanreize gesetzt werden, die dazu führen, dass Qualitätssicherung und die Beachtung der guten wissenschaftlichen Praxis nicht mehr im Fokus stehen.
Weiterhin wird bei der quantitativen Forschungsbewertung die Einengung auf bestimmte Publikationstypen kritisiert – eben auf solche, die in Datenbanken, die zur Ermittlung von Indikatoren verwendet werden, ausgewertet werden. Weitere Publikationstypen, die ebenfalls einen wissenschaftlichen Output darstellen – wie z.B. Forschungsdaten, Blogbeiträge oder Software – werden hingegen kaum berücksichtigt oder anerkannt. 
Darüber hinaus wird auch die fehlende Berücksichtigung von Arbeiten bemängelt, die zur Qualitätssicherung von Forschungsergebnissen beitragen. Hierbei sind insbesondere Open-Science-Praktiken gemeint, also die Öffnung der verschiedenen Stadien des Forschungskreislaufs, um Transparenz und Nachprüfbarkeit von Ergebnissen zu ermöglichen und damit auch die Glaubwürdigkeit von wissenschaftlichen Ergebnissen zu erhöhen.
Initiativen wie zum Beispiel DORA, Leiden Manifesto und CoARA machen sich daher dafür stark, dass die gängige Praxis der Forschungsbewertung grundlegend reformiert wird. Insbesondere die Abkehr von zeitschriftenbasierten Metriken als Qualitätsindikator wird als notwendig erachtet. Zentrale Forderungen sind u.a. außerdem:

• Ausbau der inhaltlichen, qualitativen Bewertung von Forschungsleistungen sowie der individuelle Beitrag dazu mittels Peer Review – quantitative Indikatoren sollen hierbei lediglich unterstützen.
• Stärkere Anerkennung von Open-Science-Praktiken und solchen, die der Qualitätssicherung von wissenschaftlichen Ergebnissen dienen wie beispielsweise die Vorabregistrierung von Studien.
• Ausweitung des Verständnisses davon, was als wissenschaftlicher Output anerkannt werden soll.
• Ausweitung der Impact-Messung über das reine Auszählen von Zitationen hinaus, z.B. inhaltliche Beurteilung der Bedeutung für das jeweilige Fachgebiet oder Messung des gesellschaftlichen Impacts über Erwähnungen auf Social-Media-Plattformen, Nachrichtenseiten, Blogs oder Reports über Altmetriken.
• Mehr Transparenz bei der Forschungsbewertung an sich – insbesondere dann, wenn quantitative Indikatoren zum Einsatz kommen; Datenbasis und Berechnungsroutinen sollten dabei offen und nachprüfbar sein.
• Deutlich stärkere Anerkennung der Diversität von Forschungsleistungen und solchen Arbeiten, die im akademischen Betrieb ebenfalls geleistet werden wie z.B. Lehre, Betreuung von Studierenden, Gremienarbeit, Kommunikation von Ergebnissen über die jeweilige Fachcommunity hinaus, Kollaborationen und Begutachtungen im Zuge des Peer Reviews.

Angestrebt wird eine verantwortungsvolle Forschungsbewertung (Responsible Research Assessment). Wenngleich Diskussionen über eine Reform der Forschungsbewertung langwierig sind und Veränderungen nur langsam vonstattengehen, kann davon ausgegangen werden, dass die bestehenden Bewertungs- und Anreizstrukturen überdacht und geändert werden. Die Deutsche Forschungsgemeinschaft hat beispielsweise ihre Vorlage für Lebensläufe für alle Förderprogramme dahingehend geändert, dass nun auch narrative Angaben zum Werdegang möglich sind und in Anträgen und Lebensläufen auch weitere Publikationstypen wie Preprints, Datensätze oder Software benannt werden können.

Rankings als Orientierungshilfe für den Reputationsaufbau

Es gibt zahlreiche Rankings, die Wissenschaftler:innen auf unterschiedlichen Ebenen eine Orientierung beim Aufbau der Karriere bieten sollen. Beispiele hierfür sind:

• Institutionelle Rankings wie Times Higher Education World University Rankings oder CHE-Hochschulranking, die bei der Auswahl eines Studien- oder Promotionsortes oder Arbeitsplatzes dienen sollen.
• Zeitschriftenrankings, die dabei helfen sollen, eine geeignete Zeitschrift für die Kommunikation der wissenschaftlichen Ergebnisse zu finden. Beispiele hierfür sind disziplinspezifische Listen von Zeitschriften wie die ABDC-Liste für die Wirtschaftswissenschaften oder die fachübergreifenden Journal Citation Reports mit dem dort aufgeführten Journal Impact Factor.
• Konferenzrankings, die ebenfalls bei der Suche nach einem geeigneten Ort für die Kommunikation von Ergebnissen helfen sollen; Beispiel hierfür ist das CORE Conference Ranking in der Informatik.

Hauptkritikpunkt an Rankings ist die teilweise fehlende Transparenz, mit der die Ranglisten zustande gekommen sind. Will man Rankings zur Entscheidungsfindung heranziehen, ist es daher wichtig, sich die darunterliegende Methodik anzuschauen und zu prüfen, inwieweit diese nachvollziehbar ist und ob die Kriterien berücksichtigt wurden, die für die eigene Auswahlentscheidung wichtig sind.
Die alleinige Fokussierung auf Rankings bei der Entscheidungsfindung ist in der Regel nicht zielführend. Gerade bei der Zeitschriften- oder Konferenzauswahl ist beispielsweise die inhaltliche Passfähigkeit zentral, also ob die eigenen Ergebnisse thematisch zur Ausrichtung der Zeitschrift oder Konferenz passen. 

Darstellung der eigenen Reputation und Erhöhung der Sichtbarkeit

Während man bei Bewerbungen, Anträgen etc. explizit aufgefordert wird, den eigenen Werdegang und auch die bisher erlangte Reputation darzulegen, besteht auch die Möglichkeit, diese Angaben frei zugänglich zu machen und damit die eigene Sichtbarkeit und die der eigenen wissenschaftlichen Arbeit zu erhöhen.
Folgende Möglichkeiten bestehen – die Liste ist als nicht abgeschlossen zu betrachten:

• Anlegen und Pflege eines ORCID-Profils: Bei der Vergabe der Open Researcher and Contributors ID – ORCID wird eine einzigartige Nummer vergeben, um Autor:innen zweifelsfrei unterscheiden und deren Werke eindeutig zuweisen zu können. Auf der Profilseite können neben den Publikationen weitere Informationen z.B. zum Werdegang, zu Projekten sowie Art des Beitrags zur jeweiligen Publikation etc. eingestellt werden. Da bei Einreichungen bei Zeitschriften und Konferenzen die Nennung der ORCID mittlerweile oftmals erforderlich ist, sollte das Anlegen eines Profils unbedingt erwogen werden.
• Pflege von weiteren Autor:innenprofilen: Liegen ausreichend Publikationen vor, legen Datenbanken wie Web of Science oder Scopus oder Suchmaschinen wie Google Scholar algorithmisch generierte Autor:innenprofile an und reichern diese mit zusätzlichen Informationen wie beispielsweise Angaben zur Zitierhäufigkeit der Publikationen und h-Index an. Zu beachten ist hierbei, dass primär nur solche Publikationen aufgelistet werden, die in Zeitschriften oder Buchserien erschienen sind, die von den jeweiligen Datenbanken ausgewertet werden. Gleiches gilt für die Zitationszahlen. Manuelle Korrekturen oder Ergänzungen sind möglich, erfordern aber etwas Geduld und ggf. Austausch mit dem Dienstanbieter.
• Veröffentlichung des Lebenslaufs und der Publikations- und ggf. Vortragsliste auf der institutionellen Webpage oder privaten Website: Bei der Auflistung von Publikationen sollte zwischen bereits veröffentlichten und noch nicht veröffentlichten Publikationen sowie zwischen begutachteten und nicht-begutachteten wie Preprints unterschieden werden. Die Darstellung kann durch eingeworbene Drittmittelprojekt, Gremienarbeit, Begutachtungstätigkeiten oder Herausgeber:innenschaften ergänzt werden.
• Sichtbarkeit in Sozialen Netzwerken und auf Blogs: Wenngleich Profilseiten auf Sozialen Netzwerken nicht die Möglichkeit bieten, die eigene Reputation umfassend darzustellen, können entsprechende Kanäle dennoch geeignet sein, Publikationen, Vorträge oder anderen wissenschaftlichen Output zu verbreiten und deren Sichtbarkeit zu erhöhen, Projekte vorzustellen sowie Expertise zu demonstrieren. Blogbeiträge können eine Möglichkeit sein, die eigenen Forschungsergebnisse nochmal anders aufzubereiten und somit anderen Leser:innenkreisen außerhalb der jeweiligen wissenschaftlichen Fachöffentlichkeit zugänglich zu machen. 
  Obwohl entsprechende Plattformen außerhalb der eigenen Institution liegen, sind deren Social-Media-Policies, Publikationsrichtlinien oder eventuell getroffene Geheimhaltungsvereinbarungen bei Projekten oder ähnliches zu beachten, wenn Inhalte mit Bezug zu eigenen Arbeiten gepostet werden. Beim Posten von bereits veröffentlichten Volltexten sind Nutzungsrechte zu beachten und das Ausgangswerk entsprechend zu zitieren. 
  Ein regelmäßiges „Bespielen“ von unterschiedlichen Kanäle kann zeitaufwendig sein. Es bietet sich daher an, vorher genau zu prüfen, auf welchen Netzwerken man aktiv sein möchte und welche Inhalte zu welchem Zweck dort verbreitet werden sollen.

„Reputationsmonitoring“

In Zitationsdatenbanken lassen sich Alerts einrichten, die eine automatische Benachrichtigung versenden, wenn der eigene Artikel zitiert wird. Hiermit lässt sich eine Art „Reputationsmonitoring“ betreiben, mit dem sich einerseits überprüfen lässt, in welchem Kontext die eigenen Arbeiten zitiert werden, andererseits lassen sich hierüber auch Forschungsgruppen finden, die an ähnlichen Themen arbeiten und eventuell für Kooperationen in Frage kommen.
Sind auf den Seiten der Zeitschrift oder des Verlages, bei der/dem man publiziert hat, sogenannte Altmetriken über einen entsprechenden Dienstleister eingebunden, so lässt sich hierüber mit Hilfe des DOI für die eigenen Publikationen ermitteln, auf welchen Social-Media-Plattformen, Blogs, Nachrichtenseiten etc. diese Erwähnung finden. Hierüber lässt sich nachvollziehen, ob und in welchen Kontexten auch außerhalb der wissenschaftlichen Kommunikation die Ergebnisse Beachtung gefunden haben.

Siehe auch

Journal Impact Factor und Alternativen
Auswahl einer Zeitschrift: Wie findet man eine geeignete Zeitschrift zur Publikation von wissenschaftlichen Ergebnissen? 
DOI, ORCID und ROR: Wozu sind persistente Identifikatoren nützlich? 
Open Science: Was ist damit gemeint?
Peer Review: Warum ist es wichtig?

Disclaimer

Bitte beachten Sie: Unser Service kann keine verbindliche Rechtsberatung anbieten, sondern stellt Informationen zur ersten Orientierung bereit. ZB MED – Informationszentrum Lebenswissenschaften hat die Angaben auf den folgenden Seiten sorgfältig geprüft, übernimmt aber für mögliche Fehler keine Haftung. Soweit nicht anders angegeben, beziehen sich Ausführungen zu einzelnen Rechtsnormen auf deutsches Recht (Stand FAQ 11/2023).