Lawina idzie. Część III – ewaluacja

Po dwóch rozporządzeniach „technicznych” przyszła pora na trzecie, stanowiące nerw całego systemu a dotyczące ewaluacji jednostek naukowych. I tu już na starcie mam podobne wrażenie jak poprzednio – minister znów przestraszył się własnych dobrych pomysłów i zatrzymał w pół drogi. Bo, w porównaniu do poprzednich parametryzacyjnych cudów – wianków, jakimi nas dotąd uszczęśliwiano jest to akt na przyzwoitym poziomie i z dość przejrzystymi regułami gry. Tradycyjnie jednak najlepsze pomysły ludzi i myszy rozbijają się o szczegóły i szczególiki, przez które sensowny mechanizm może w praktyce okazać się lekarstwem gorszym od choroby.

Zacznę od tego, co mi się naprawdę podoba. Primo: algorytm wyliczający ostateczną ocenę jest jasny i łatwy do stosowania. Secundo w połączeniu z danymi z POLON-u po raz pierwszy będzie można na bieżąco analizować, jak poszczególne uczelnie radzą sobie w ewaluowanych dyscyplinach. Proponowałbym nawet wzbogacenie POLON-u o funkcjonalność pozwalającą na tworzenie „dashboards” dla poszczególnych dyscyplin, pokazujących, jak sobie dana uczelnia radzi w stosunku do konkurentów (szczegóły oczywiście za punkty w kryterium II i III). Tertio: ten system po raz pierwszy daje nadzieję, że można go będzie zastosować (ubocznie i przypadkiem, ale zawsze) jako narzędzie zarządzania jakością oraz do długoterminowych badań tego, co się w polskiej nauce dzieje.

Teraz to, co budzi wątpliwości. W kolejności przypadkowej i wyrywkowo (jeśli ktoś chce szczegółowych analiz to jak wyżej – za punkty w kryterium II i III). Pierwsza rzecz, która mi się nie podoba już została zaznaczona w poprzednim zdaniu. W ewaluacji w kryterium II nie będą brane pod uwagę działania pro bono, wprowadzone słusznie, choć w wersji ultrabiurokratycznej przez poprzednią ekipę. Problemu nie załatwia „wpływ” w kryterium III, bo nie chodzi tu o jakieś szczególne osiągnięcia, tylko bieżące działania w ramach współpracy z otoczeniem. Ot, na przykład pomoc w opracowaniu strategii niezbyt zamożnej gminy, wsparcie wiedzą fachową lokalnych organizacji pozarządowych itd. Rzeczy robione w ramach misji uczelni, często w ramach włączania studentów do badań. No i kto ma sumienie wystawić fakturę stowarzyszeniu, którego składki z trudem starczają na czynsz za lokal? A teraz będzie jak u skrytobójców w Ankh-Morpork: nil mortifie sine lucre. 

Po drugie awantura z przypisywaniem ludzi i ich osiągnięć do dyscyplin. Wyznacznikiem mają być tu 1) deklaracje i 2) to, jak zakwalifikowane są czasopisma wg. kolejnego magicznego identyfikatora. Ministerstwo chce uniknąć sytuacji, w której przedstawiciele dyscypliny A nagle ogłoszą się znawcami dyscypliny B i z tejże dostaną prawa doktoryzowania. Otóż bezpiecznik taki bez oceny eksperckiej nie zadziała, co pokazuje, że być może będzie trzeba przemyśleć zasady nie tyle ewaluacji, co uzyskiwania uprawnień do nadawania stopni. Otóż wyobraźmy sobie zespół inżynierów z Politechniki Pcimskiej, który nagle poczuje w sobie wolę bożą do bycia prawnikami i zadeklaruje, że oni się ewaluują z prawa. No i publikując w takich, formalnie prawniczych (wg. SCOPUSa, nie sprawdzam, czy mają Magiczny Identyfikator, cudach jak Microwave Review czy Journal of Fluorescence uzyskają prawo nadawania prawniczych habilitacji. Równolegle grupa prawników publikujących w tych samych cudach może nagle zostać inżynierami.  Problem jest oczywiście pozorny, bo senat (składający się odpowiednio z inżynierów lub prawników) powoła do komisji i jako recenzentów specjalistów, a do nadania stopnia wystarczy senatorom umiejętność postawienia krzyżyka na kartce do głosowania.

Jeszcze ciekawiej jest z przypisywaniem ludzi do dyscyplin. O ile mogę zrozumieć, że zezwalamy na podanie dwóch, o tyle zupełnie bez sensu jest wymóg, by wyliczać jaki procent czasu pracy przeznaczonego na badania uczony lub uczona poświęca na badania w dyscyplinie A, a jakie w B. Tego się po prostu policzyć nie da. No i jeśli ktoś zajmuje sie ekonomiczną analizą prawa, to niech mi ministerstwo wyliczy, w jakim procencie jego teksty to ekonomia, a w jakim teoria prawa?  Na szczęście przepisy nakazują odnotowywać „informacje o czasie pracy związanej z prowadzeniem działalności naukowej w poszczególnych dyscyplinach,” co można rozumieć także jako procent czasu pracy przeznaczony na działalność naukową. Wadą proponowanego systemu ewaluacji jest to, że zakłada on fikcję prawną, że każdy pracownik ma tyle samo czasu na badania, a zatem można od niego wymagać takich samych osiągnięć. Nic bardziej błędnego. Pracownik naukowy przeznacza na badania około 80% swojego czasu pracy, reszta to działalność organizacyjna. Modelowy pracownik naukowo – dydaktyczny na badania ma 40% czasu, drugie tyle to dydaktyka, 20% działalność organizacyjna. Itp itd. Coś tu wyraźnie nie gra – obaj nie mogą być tak samo wydajni publikacyjnie. Wystarczy jednak, utrzymując zasadę, że ewaluacji podlegają jednostki zatrudniające co najmniej 12 czynnych naukowo pracowników, zmodyfikować maksymalną liczbę publikacji, przeliczając etaty tak, żeby liczba tekstów do napisania w okresie ewaluacyjnym była proporcjonalna do rzeczywistego czasu pracy poświęconego na badania. zatem zamiast 3N (4N to chyba za dużo, ale to na marginesie) publikacji z danej dyscypliny uczelnia przedstawiałaby 3*(NB+0,5*ND) publikacji, gdzie NB to liczba pracowników na etatach naukowo – badawczych, a ND – naukowo- dydaktycznych. Zatem uczelnia zatrudniająca 12 pracowników NB przedstawiałaby 36 osiągnięć, a taka gdzie jest 6 NB i 6ND przedstawiałaby 27 osiągnięć, za to gdyby ta szczęśliwa 12. to byli tylko NB, osiągnięć byłoby 18. Dla pozostałych pracowników (np. dydaktyków publikujących w ramach rozwoju zawodowego przelicznik miałby wartość 0,25). Mała rzecz, a ułatwia planowanie strategiczne, ocenę pracowników i racjonalny przydział zadań. Oczywiście wymagałoby to podrasowania algorytmu subwencji, bo standardowe „kadra razy kategoria” tu się nie sprawdzi, tudzież odpowiedniego przerachowania liczby osiągnięćw kryterium II. To oczywiście też da się zrobić (tradycyjnie – za punkty w kat. II i III).

Po trzecie: niezrozumiały jest system dzielenia punktów utrudniający współpracę między ośrodkami i dyscyplinami. O ile mogę zrozumieć, że w niektórych dyscyplinach 600 autorów i dwie strony tekstu to norma i autor nr 600 miał mikry wkład w całość, a przyznanie mu tylu punktów, co pozostałym prowadzi do niesprawiedliwych wyników, o tyle w pracach inter- lub multidyscyplinarnych to mija się z celem. Jeśli bowiem językoznawca i informatyk wspólnie opublikują tekst o komputerowej analizie tekstu pisanego w języku naturalnym, może się zdarzyć, że za wspólny i przełomowy tekst dostaną mniej punktów, niż za napisane indywidualnie dwa nudne teksty niższej jakości.

Po czwarte: niedocenienie monografii – artykuł w najlepszym czasopiśmie i monografia w wydawnictwie klasy pangalaktycznej dają te same 200 pkt. W naukach społecznych i humanistyce jest to czytelny sygnał, że monografie się nie opłacają. Zważywszy, że napisanie monografii to spory wysiłek, a ich liczba jest w nowej ewaluacji objęta numerus clausus, wypadałoby dać monografiom odpowiednio więcej punktów.

Po piąte: kryterium II nie obejmuje przychodów z  komercjalizacji wyników badań, ekspertyz itd dokonywanych przez pracowników bez pośrednictwa uczelni i nie w ramach działalności gospodarczej. W naukach humanistycznych i społecznych, podobnie jak w sztuce, nie dziedziczy się prestiżu instytucji, klient idzie do specjalisty, a nie pod ładnie wyglądający szyld. W statystykach współpracy z biznesem gubi się więc dość istotna jej część. Ba, nawet MNiSW jak korzysta z pomocy ekspertów umowy zawiera bezpośrednio z nimi, a nie z zatrudniającymi ich uczelniami. I znów jest to taka typowa, bieżąca część pracy uczelni, że nie da się jej wykazać w kryterium III.

Po szóste: kryterium III jest uznaniowe, a może mieć decydujący wpływ na wynik ewaluacji, zwłaszcza tam, gdzie dyscypliny w różnych ośrodkach reprezentują podobny poziom. Żeby ocena ekspercka była sprawiedliwa, wymagane jest nie tylko uzasadnienie punktów przyznanych za każde case study, ale i zasad ich przyznawania. Mając do wyboru 5 case studies nie wiem, co to jest osiągnięcie „regionalne” czy „globalne” i jak to będzie oceniane. Nie dostanę też uzasadnienia pokazującego, dlaczego za moje osiągnięcie dostałem 50 pkt, a mój konkurent za bardzo podobne 83.

Po siódme: nieostre zasady ustalania progów na kategorie. Dotychczasowe doświadczenie w naukach humanistycznych i społecznych uczy, że były one ustalane raczej uznaniowo, bez posiłkowania się bazami danych i obliczania pozycji Polski w nauce światowej. Ponadto są one ustalane ex post, co daje duże możliwości manipulacji wynikami (świadomej lub nie), podobnie jak ocena w kryterium III. Uważam, że progi powinny być podawane z wyprzedzeniem, a metodologia ich ustalania jawna i publikowana choćby w postaci komunikatu ministra. Najprostszą metodą byłoby ustalanie progów w odniesieniu do koszyka benchmarków (np. w koszyku 1 uczelnia amerykańska, 1 europejska, 1 środkowoeuropejska, 1 azjatycka odpowiednio z pierwszego, drugiego, trzeciego, czwartego kwartyla rankingu szanghajskiego lub SCImago) . Ryzykujemy wtedy oczywiście, że w Polsce w niektórych dyscyplinach nie będzie ani jednej jednostki kategorii B+ lub B, za to dostajemy obiektywną miarę jakości badań.

Po ósme i ostatnie:

Na podstawową wadę ewaluacji – to, że nie jest ona narzędziem zarządzania jakością, a wciąż mechanizmem rozdziału pieniędzy, władzy i prestiżu na tym etapie nie można poradzić. Ustawodawca zadecydował i już. I nie, nie jestem zwolennikiem urawniłowki. Rozumiem, że państwo może chcieć rozdzielać środki proporcjonalnie do efektów. Do tego jednak mechanizm ewaluacyjny średnio się nadaje. Przykładowo – jeśli mamy zespół badawczy (ZB1) w dyscyplinie A publikujący wyłącznie za 200 pkt, nie mamy wątpliwości, że to jest świetny zespół. Inny zespół (ZB2) w tej samej dyscyplinie publikujący za powiedzmy 70 pkt. musiałby być a priori gorszy. Tyle, że może się okazać, że najlepsze czasopismo w dyscyplinie A dotyczące tego, czym się zajmuje ZB2 poza te 70 pkt nie wychodzi. No i czy możemy powiedzieć, że ZB1 zasługuje na kategorię A, a ZB2 na C? Niekoniecznie. Nie jest to przypadek abstrakcyjny, w naukach społecznych może się zdarzyć. Weźmy drugi przykład – dziesięć zespołów, ZB1 … ZB10 w tej samej dyscyplinie, różnica między najlepszym ZB1 a najgorszym ZB10 jest niewielka.  Jak ZB1 ma 100, to ZB10 90 pkt. Trudno powiedzieć, że ZB10 jest słaby naukowo i powinien mieć kategorię C (w niektórych dyscyplinach się to może zdarzyć), choć można powiedzieć, że przy tak wyrównanej stawce ZB1 zasługuje na większą dotację, niż ZB10.

Ponieważ nic mi nie wiadomo, by ministerstwo prowadziło symulacje w tym zakresie, choć wiadomo np. że na potrzeby angielskiego REF specjaliści z marketingu publikują w czasopismach spoza swojej specjalności, bo te mają więcej „gwiazdek,” zakładam że takich badań nie było i problem został uznany za nieistotny.