Nowa ewaluacja – pierwsze wrażenia

Onegdaj dr Karolina Zioło-Pużuk, wiceminister odpowiedzialna za uporządkowanie spraw ewaluacyjnych przedstawiła zarys pomysłów na nową ewaluację. Jeszcze nie projekt przepisów, ale już coś, co można skomentować. Slajdy z prezentacji są dostępne online, więc mamy już punkt wyjścia do pierwszej analizy.

W skrócie – może być lepiej, ale wcale nie musi. Jak w porządnym thrillerze napięcie rośnie, a widzowie zdają sobie sprawę, że najlepsze fragmenty zobaczymy dopiero w drugiej części filmu za kilka lat. Sporo pomysłów wymaga bowiem zasadniczych zmian ustawowych i to takich, które musiałyby przetrwać ponad dwie kadencje parlamentu. Czyli łatwo nie będzie.

Pomysły ministerstwa można podzielić na dwie grupy (w oryginale – filary): ocena dyscyplin w systemie parametrycznym z jakimś udziałem ekspertów i ocena uczelni: ekspercka z jakimś udziałem wskaźników. Poniższe uwagi dotyczą zaprezentowanych rozwiązań szczegółowych, bo obrazu systemu jeszcze nie mamy.

Nowa ewaluacja w tej propozycji nie jest niczym nowym. Dostrajanie tego co już znamy i kochamy (Liebe-Hass to też miłość). I tak jest dobrze, przyzwyczailiśmy się do systemu, a jeśli by go zrobić tak, by był odporny na lokalne lobbies („no jak to, to czasopismo nie ma 200 pkt… skandal!”) to działałoby nie gorzej niż inne systemy. Niestety, w tej części słowo „ekspert” i „recenzja” pojawiają się częściej niżbym chciał. Wolałbym sztywne kryteria tworzenia wykazów i ocen. Poza tym nie zawsze jest jasne co ma być częścią ewaluacji dyscyplin a co oceny kompleksowej uczelni. To jest zrozumiałe (prezentacja to jednak skrót) ale nie ułatwia analizy.

Zabrakło więc informacji o tym, jak będzie tworzony wykaz czasopism i wydawców i co tam będą robić eksperci. Cieszy natomiast zapowiedź jawnego mechanizmu ustalania progów na kategorie.

Krytykowana od wczoraj zapowiedź likwidacji N0 mi się podoba. Jest za dużo sytuacji, w których pracownik nie wejdzie do N z przyczyn losowych. Podobnie podoba mi się przywrócenie minimum kadrowego w sensie masy krytycznej potrzebnej do prowadzenia programów doktorskich. Nie podoba mi się łączenie go z formalną przesłanką posiadania stopnia dr hab/prof. Wolałbym  połączyć prawa akademickie z posiadaniem przez pracowników uczestniczących w procedurach awansowych aktualnego dorobku, np. publikacji Q1/Q2 na SCOPUS opublikowanych w poprzednim okresie ewaluacyjnym. Do przemyślenia jest, jeśli chcemy utrzymywać habilitacje, przeniesienie ich do RDN. Uczelnie już dawno są raczej organizatorami technikaliów niż podmiotami prowadzącymi postępowanie. No i jeden problem z głowy. Oczywiście przy okazji można by pomyśleć o reformie kryteriów awansowych, ale to na zupełnie inny tekst.

Podoba mi się powiązanie liczby publikacji, które może złożyć pracownik do oceny ze stanowiskiem. Nie cieszy to, że nie wiemy, jak będzie ten oceniany dorobek dyscypliny konstruowany.

Martwi, że kryterium 2 będzie dalej otwarte – bez maksimum, a jego wynik będzie zależał od tego, czy uczelnia potrafi mnożyć wydatki ponad potrzebę (z gospodarnością wydawania środków publicznych to ma niewiele wspolnego).

Nie bardzo rozumiem, skąd pomysł zwiększenia znaczenia bycia pierwszym autorem w punktacji kryterium 1. Wiem, że są działki, w których to ma znaczenie. W mojej przyporządkowanie jest zwykle alfabetyczne albo hierarchiczne (Professor first). Ze dwa razy o układzie nazwisk na okładce książki zadecydował grafik: miały różną długość i trzeba było rozplanować estetycznie. Ale i do tego się dostosujemy jak będzie trzeba.

Nie podoba mi się też pomysł, że na uczelni mogłyby być dyscypliny nieparametryzowane. Ich reprezentanci na uczelni podlegają ocenie pracowniczej, mają też prawo do funduszy na badania. Skoro o prawach akademickich będzie decydować liczba pracowników, to ograniczenie ewaluacji do liczniejszych zbiorowości nie ma sensu. Co najwyżej mikrodyscypliny można ewaluowac w sposób uproszczony.

Bardzo nieostre są pomysły dotyczące dowartościowania transferu technologii i udziały w ocenie ekspertów z biznesu. Jeśli chcemy mieć dwa filary oceny, to eksperci oceniający jakość wpływu na otoczenie powinni pojawiać się w filarze drugim.

No i to prowadzi nas do pytania o ten właśnie drugi filar. Pierwszy problem jest systemowy: po co oceniać potencjał? Bo z prezentacji nie wynika na co się ma ta ocena przekładać. Na sprawność uczelni mierzoną jako stosunek potencjału do wyników?

Drugi problem jest taki, że czytając wskaźniki potencjału miałem deja vu. To jest po prostu kawałek dawnego kryterium 3 parametryzacji. W dodatku nie wymaga on oceny eksperckiej. OPI szybko przygotuję narzędzie do wyszukiwania tych informacji w bazach rządowych. Tak definiowany potencjał nie mówi nam też nic o jakości badań, dydaktyki czy współpracy z otoczeniem.

Widziałbym raczej ocenę kompleksowa jako narzędzie zarządzania jakością – międzynarodowy zespół ekspertów bada czy uczelnia właściwie i realistycznie określiła swoją strategię, znalazła swoje DNA i czy realizuje sensowny plan rozwoju. Czy ma spójny plan rozwoju zawodowego pracowników, czy zapewni następstwo pokoleń, czy racjonalnie decyduje i tym które dyscypliny utrzymać, czy zapewnią pracownikom godne warunki pracy i płacy, czy współpraca z otoczeniem jest dostosowana do misji uczelni itd (odpowiednio stosujemy to do instytutów).

Taka ocena niezależnie od jej znaczenia zarządczego mogłaby być podstawą do przygotowywania planów rozwoju i zawierania z MNISW „kontraktów” strategicznych na finansowanie tych zadań. W ten sposób uczelnia na dorobku ale z ciekawym pomysłem na badania mogłaby dostać proporcjonalnie więcej niż zasiedziały ośrodek z pomysłem „robimy to co zawsze” i za 5 lat podnieść swoją pozycję w rankingu.

Podsumowując:

Krótkoterminowo istotne jest szybkie przygotowanie reguł filaru I. Przede wszystkim zasad tworzenia wykazu czasopism i wydawców (pomysły znajdzie czytelnik m.in. na stronie www.ewaluacjaprawa.com). Po drugie powinniśmy znać mechanizm wyliczania progów na kategorie, albo może po prostu zastąpmy ten algorytm zwykłym podziałem kwartylowym lub (żeby utrzymać obecny podział na kategorie) – kwintylowym: górne 20% jednostek reprezentujących daną dyscyplinę ma kategorię A, dolne 20% C

Po trzecie wreszcie należałoby rozważyć skwantyfikowanie kryterium 3. Osiągnięcia dyscypliny miały ostatnio standardowe. Ocena ekspercka mogłaby się tylko ograniczyć do sprawdzenia rzetelności opisów. Reszta zostałaby przeniesiona do filaru drugiego.

No i można zacząć prace nad filarem drugim. I tu patrzyłbym na Francuzów i Holendrów. Mają ciekawe pomysły

Osobną rzeczą jest to, jak te zmiany wpłyną na całą resztę systemu i jak bardzo będzie można je poddać tradycyjnej zabawie w optymalizację ewaluacyjną. Ale tym zajmiemy się jak zobaczymy projekty przepisów.