Evaluation weiterentwickelt und vereinheitlicht

Rund 1 Milliarde Franken investiert der SNF jährlich in die Schweizer Forschung. Aus Tausenden von Gesuchen die besten Projekte und Forschenden auszuwählen und zu fördern, das ist seine Kernaufgabe. «Wir stellen an unsere Arbeit dieselben hohen Ansprüche wie an die Forschung, die wir finanzieren», betont Thomas Werder Schläpfer, Mitglied der Geschäftsleitung. «Die Evaluation der Gesuche soll exzellent sein.»

Bisher hat der SNF je nach Förderinstrument unterschiedliche Evaluationsverfahren angewendet. Nun hat er sie weiterentwickelt und zu einem einheitlichen, modularen Verfahren zusammengefasst. Dieses gilt mit wenigen Ausnahmen für alle Instrumente.

Die wichtigsten Neuerungen

• Sechs Hauptschritte und bedarfsgerechte Anpassung: Das Verfahren verläuft in sechs Hauptschritten, von der administrativen Prüfung der Gesuche bis zur Mitteilung der Resultate. Zentral sind die drei Schritte der eigentlichen Evaluation: die externe Begutachtung, die interne Begutachtung und die Diskussion im jeweils zuständigen Evaluationsgremium. Es besteht aus Forschenden, die im Milizsystem für den SNF tätig sind. Bei manchen Instrumenten kommen weitere Schritte hinzu. «Die flexible Form ermöglicht den Spagat zwischen Standardisierung und bedarfsgerechter Anpassung», sagt Thomas Werder Schläpfer.
• Zwei unabhängige Empfehlungen: Nach der externen Begutachtung wird jedes Gesuch von mindestens zwei Mitgliedern des Evaluationsgremiums unabhängig voneinander beurteilt. Ihre Empfehlungen bilden die Grundlage für die Diskussion.
• Bewertungsskala von 1 bis 9: Die Gutachtenden und die Mitglieder des Gremiums bewerten die Gesuche nach einer einheitlichen Skala von 1 bis 9. Eine 1 bedeutet, dass ein Gesuch wenige oder gar keine Stärken aufweist, jedoch viele gravierende Schwächen. Bei einer 9 hingegen überzeugt es in allen Belangen. Die Skala schafft Klarheit und Vergleichbarkeit.
• Individuelle Stimmabgabe: Jedes Gesuch wird von jedem Mitglied des Gremiums bewertet. Erst nachdem alle abgestimmt haben, sind die einzelnen Werte sichtbar. Damit ist ein unabhängiges Votum gewährleistet.
• Erstellung der Rangliste: Die numerische Bewertungsskala und die individuelle Stimmabgabe ermöglichen die Anwendung eines statistischen Verfahrens, um eine Rangliste der Gesuche zu erstellen. Der SNF nutzt dafür eine Bayesian-Ranking-Methode, die zufällige Schwankungen und weitere Unsicherheiten berücksichtigt.
• Vorauswahl zur Ablehnung möglich: Wenn ein Gesuch gemäss den externen und internen Gutachten mehrere klar identifizierte Schwächen aufweist, kann das Gremium eine ablehnende Vorauswahl treffen. In diesem Fall verzichtet es auf eine detaillierte Diskussion.
• Evaluation und Förderentscheid getrennt: Neu unterscheidet der SNF eindeutig zwischen der wissenschaftlichen Evaluation und dem Treffen der Förderentscheide. Aufgrund der Rangliste der Gesuche und der verfügbaren Finanzmittel bestimmt der Nationale Forschungsrat die sogenannte Fördergrenze. Gesuche mit einer Bewertung über der Grenze erhalten die Finanzierung.
• Optionales Losverfahren: Möglicherweise geht die Fördergrenze durch eine Gruppe von Gesuchen mit gleicher Qualität. Der Forschungsrat kann dann per Los eine Zufallsauswahl treffen. Diese Option besteht seit 2021.

Grosser Schritt in die richtige Richtung

«Mit dem neuen Verfahren schaffen wir Einheitlichkeit und steigern nochmals die Qualität, die Effizienz und die Transparenz», freut sich Thomas Werder Schläpfer. «Für unsere Forschungsförderung ist dies ein grosser Schritt in die richtige Richtung, aber natürlich kein endgültiger. Als lernende Organisation werden wir die Evaluation sorgfältig beobachten und nach Bedarf weiterentwickeln, immer auch basierend auf dem neusten Stand der Wissenschaft.»

Der SNF wendet das einheitliche Verfahren ab sofort an. Details zu den einzelnen Schritten sowie zu den Kriterien und weiteren Grundlagen befinden sich auf der Webseite.

• Evaluationsverfahren