Lawina idzie. Część III – ewaluacja

Po dwóch rozporządzeniach „technicznych” przyszła pora na trzecie, stanowiące nerw całego systemu a dotyczące ewaluacji jednostek naukowych. I tu już na starcie mam podobne wrażenie jak poprzednio – minister znów przestraszył się własnych dobrych pomysłów i zatrzymał w pół drogi. Bo, w porównaniu do poprzednich parametryzacyjnych cudów – wianków, jakimi nas dotąd uszczęśliwiano jest to akt na przyzwoitym poziomie i z dość przejrzystymi regułami gry. Tradycyjnie jednak najlepsze pomysły ludzi i myszy rozbijają się o szczegóły i szczególiki, przez które sensowny mechanizm może w praktyce okazać się lekarstwem gorszym od choroby.

Zacznę od tego, co mi się naprawdę podoba. Primo: algorytm wyliczający ostateczną ocenę jest jasny i łatwy do stosowania. Secundo w połączeniu z danymi z POLON-u po raz pierwszy będzie można na bieżąco analizować, jak poszczególne uczelnie radzą sobie w ewaluowanych dyscyplinach. Proponowałbym nawet wzbogacenie POLON-u o funkcjonalność pozwalającą na tworzenie „dashboards” dla poszczególnych dyscyplin, pokazujących, jak sobie dana uczelnia radzi w stosunku do konkurentów (szczegóły oczywiście za punkty w kryterium II i III). Tertio: ten system po raz pierwszy daje nadzieję, że można go będzie zastosować (ubocznie i przypadkiem, ale zawsze) jako narzędzie zarządzania jakością oraz do długoterminowych badań tego, co się w polskiej nauce dzieje.

Teraz to, co budzi wątpliwości. W kolejności przypadkowej i wyrywkowo (jeśli ktoś chce szczegółowych analiz to jak wyżej – za punkty w kryterium II i III). Pierwsza rzecz, która mi się nie podoba już została zaznaczona w poprzednim zdaniu. W ewaluacji w kryterium II nie będą brane pod uwagę działania pro bono, wprowadzone słusznie, choć w wersji ultrabiurokratycznej przez poprzednią ekipę. Problemu nie załatwia „wpływ” w kryterium III, bo nie chodzi tu o jakieś szczególne osiągnięcia, tylko bieżące działania w ramach współpracy z otoczeniem. Ot, na przykład pomoc w opracowaniu strategii niezbyt zamożnej gminy, wsparcie wiedzą fachową lokalnych organizacji pozarządowych itd. Rzeczy robione w ramach misji uczelni, często w ramach włączania studentów do badań. No i kto ma sumienie wystawić fakturę stowarzyszeniu, którego składki z trudem starczają na czynsz za lokal? A teraz będzie jak u skrytobójców w Ankh-Morpork: nil mortifie sine lucre. 

Po drugie awantura z przypisywaniem ludzi i ich osiągnięć do dyscyplin. Wyznacznikiem mają być tu 1) deklaracje i 2) to, jak zakwalifikowane są czasopisma wg. kolejnego magicznego identyfikatora. Ministerstwo chce uniknąć sytuacji, w której przedstawiciele dyscypliny A nagle ogłoszą się znawcami dyscypliny B i z tejże dostaną prawa doktoryzowania. Otóż bezpiecznik taki bez oceny eksperckiej nie zadziała, co pokazuje, że być może będzie trzeba przemyśleć zasady nie tyle ewaluacji, co uzyskiwania uprawnień do nadawania stopni. Otóż wyobraźmy sobie zespół inżynierów z Politechniki Pcimskiej, który nagle poczuje w sobie wolę bożą do bycia prawnikami i zadeklaruje, że oni się ewaluują z prawa. No i publikując w takich, formalnie prawniczych (wg. SCOPUSa, nie sprawdzam, czy mają Magiczny Identyfikator, cudach jak Microwave Review czy Journal of Fluorescence uzyskają prawo nadawania prawniczych habilitacji. Równolegle grupa prawników publikujących w tych samych cudach może nagle zostać inżynierami.  Problem jest oczywiście pozorny, bo senat (składający się odpowiednio z inżynierów lub prawników) powoła do komisji i jako recenzentów specjalistów, a do nadania stopnia wystarczy senatorom umiejętność postawienia krzyżyka na kartce do głosowania.

Jeszcze ciekawiej jest z przypisywaniem ludzi do dyscyplin. O ile mogę zrozumieć, że zezwalamy na podanie dwóch, o tyle zupełnie bez sensu jest wymóg, by wyliczać jaki procent czasu pracy przeznaczonego na badania uczony lub uczona poświęca na badania w dyscyplinie A, a jakie w B. Tego się po prostu policzyć nie da. No i jeśli ktoś zajmuje sie ekonomiczną analizą prawa, to niech mi ministerstwo wyliczy, w jakim procencie jego teksty to ekonomia, a w jakim teoria prawa?  Na szczęście przepisy nakazują odnotowywać „informacje o czasie pracy związanej z prowadzeniem działalności naukowej w poszczególnych dyscyplinach,” co można rozumieć także jako procent czasu pracy przeznaczony na działalność naukową. Wadą proponowanego systemu ewaluacji jest to, że zakłada on fikcję prawną, że każdy pracownik ma tyle samo czasu na badania, a zatem można od niego wymagać takich samych osiągnięć. Nic bardziej błędnego. Pracownik naukowy przeznacza na badania około 80% swojego czasu pracy, reszta to działalność organizacyjna. Modelowy pracownik naukowo – dydaktyczny na badania ma 40% czasu, drugie tyle to dydaktyka, 20% działalność organizacyjna. Itp itd. Coś tu wyraźnie nie gra – obaj nie mogą być tak samo wydajni publikacyjnie. Wystarczy jednak, utrzymując zasadę, że ewaluacji podlegają jednostki zatrudniające co najmniej 12 czynnych naukowo pracowników, zmodyfikować maksymalną liczbę publikacji, przeliczając etaty tak, żeby liczba tekstów do napisania w okresie ewaluacyjnym była proporcjonalna do rzeczywistego czasu pracy poświęconego na badania. zatem zamiast 3N (4N to chyba za dużo, ale to na marginesie) publikacji z danej dyscypliny uczelnia przedstawiałaby 3*(NB+0,5*ND) publikacji, gdzie NB to liczba pracowników na etatach naukowo – badawczych, a ND – naukowo- dydaktycznych. Zatem uczelnia zatrudniająca 12 pracowników NB przedstawiałaby 36 osiągnięć, a taka gdzie jest 6 NB i 6ND przedstawiałaby 27 osiągnięć, za to gdyby ta szczęśliwa 12. to byli tylko NB, osiągnięć byłoby 18. Dla pozostałych pracowników (np. dydaktyków publikujących w ramach rozwoju zawodowego przelicznik miałby wartość 0,25). Mała rzecz, a ułatwia planowanie strategiczne, ocenę pracowników i racjonalny przydział zadań. Oczywiście wymagałoby to podrasowania algorytmu subwencji, bo standardowe „kadra razy kategoria” tu się nie sprawdzi, tudzież odpowiedniego przerachowania liczby osiągnięćw kryterium II. To oczywiście też da się zrobić (tradycyjnie – za punkty w kat. II i III).

Po trzecie: niezrozumiały jest system dzielenia punktów utrudniający współpracę między ośrodkami i dyscyplinami. O ile mogę zrozumieć, że w niektórych dyscyplinach 600 autorów i dwie strony tekstu to norma i autor nr 600 miał mikry wkład w całość, a przyznanie mu tylu punktów, co pozostałym prowadzi do niesprawiedliwych wyników, o tyle w pracach inter- lub multidyscyplinarnych to mija się z celem. Jeśli bowiem językoznawca i informatyk wspólnie opublikują tekst o komputerowej analizie tekstu pisanego w języku naturalnym, może się zdarzyć, że za wspólny i przełomowy tekst dostaną mniej punktów, niż za napisane indywidualnie dwa nudne teksty niższej jakości.

Po czwarte: niedocenienie monografii – artykuł w najlepszym czasopiśmie i monografia w wydawnictwie klasy pangalaktycznej dają te same 200 pkt. W naukach społecznych i humanistyce jest to czytelny sygnał, że monografie się nie opłacają. Zważywszy, że napisanie monografii to spory wysiłek, a ich liczba jest w nowej ewaluacji objęta numerus clausus, wypadałoby dać monografiom odpowiednio więcej punktów.

Po piąte: kryterium II nie obejmuje przychodów z  komercjalizacji wyników badań, ekspertyz itd dokonywanych przez pracowników bez pośrednictwa uczelni i nie w ramach działalności gospodarczej. W naukach humanistycznych i społecznych, podobnie jak w sztuce, nie dziedziczy się prestiżu instytucji, klient idzie do specjalisty, a nie pod ładnie wyglądający szyld. W statystykach współpracy z biznesem gubi się więc dość istotna jej część. Ba, nawet MNiSW jak korzysta z pomocy ekspertów umowy zawiera bezpośrednio z nimi, a nie z zatrudniającymi ich uczelniami. I znów jest to taka typowa, bieżąca część pracy uczelni, że nie da się jej wykazać w kryterium III.

Po szóste: kryterium III jest uznaniowe, a może mieć decydujący wpływ na wynik ewaluacji, zwłaszcza tam, gdzie dyscypliny w różnych ośrodkach reprezentują podobny poziom. Żeby ocena ekspercka była sprawiedliwa, wymagane jest nie tylko uzasadnienie punktów przyznanych za każde case study, ale i zasad ich przyznawania. Mając do wyboru 5 case studies nie wiem, co to jest osiągnięcie „regionalne” czy „globalne” i jak to będzie oceniane. Nie dostanę też uzasadnienia pokazującego, dlaczego za moje osiągnięcie dostałem 50 pkt, a mój konkurent za bardzo podobne 83.

Po siódme: nieostre zasady ustalania progów na kategorie. Dotychczasowe doświadczenie w naukach humanistycznych i społecznych uczy, że były one ustalane raczej uznaniowo, bez posiłkowania się bazami danych i obliczania pozycji Polski w nauce światowej. Ponadto są one ustalane ex post, co daje duże możliwości manipulacji wynikami (świadomej lub nie), podobnie jak ocena w kryterium III. Uważam, że progi powinny być podawane z wyprzedzeniem, a metodologia ich ustalania jawna i publikowana choćby w postaci komunikatu ministra. Najprostszą metodą byłoby ustalanie progów w odniesieniu do koszyka benchmarków (np. w koszyku 1 uczelnia amerykańska, 1 europejska, 1 środkowoeuropejska, 1 azjatycka odpowiednio z pierwszego, drugiego, trzeciego, czwartego kwartyla rankingu szanghajskiego lub SCImago) . Ryzykujemy wtedy oczywiście, że w Polsce w niektórych dyscyplinach nie będzie ani jednej jednostki kategorii B+ lub B, za to dostajemy obiektywną miarę jakości badań.

Po ósme i ostatnie:

Na podstawową wadę ewaluacji – to, że nie jest ona narzędziem zarządzania jakością, a wciąż mechanizmem rozdziału pieniędzy, władzy i prestiżu na tym etapie nie można poradzić. Ustawodawca zadecydował i już. I nie, nie jestem zwolennikiem urawniłowki. Rozumiem, że państwo może chcieć rozdzielać środki proporcjonalnie do efektów. Do tego jednak mechanizm ewaluacyjny średnio się nadaje. Przykładowo – jeśli mamy zespół badawczy (ZB1) w dyscyplinie A publikujący wyłącznie za 200 pkt, nie mamy wątpliwości, że to jest świetny zespół. Inny zespół (ZB2) w tej samej dyscyplinie publikujący za powiedzmy 70 pkt. musiałby być a priori gorszy. Tyle, że może się okazać, że najlepsze czasopismo w dyscyplinie A dotyczące tego, czym się zajmuje ZB2 poza te 70 pkt nie wychodzi. No i czy możemy powiedzieć, że ZB1 zasługuje na kategorię A, a ZB2 na C? Niekoniecznie. Nie jest to przypadek abstrakcyjny, w naukach społecznych może się zdarzyć. Weźmy drugi przykład – dziesięć zespołów, ZB1 … ZB10 w tej samej dyscyplinie, różnica między najlepszym ZB1 a najgorszym ZB10 jest niewielka.  Jak ZB1 ma 100, to ZB10 90 pkt. Trudno powiedzieć, że ZB10 jest słaby naukowo i powinien mieć kategorię C (w niektórych dyscyplinach się to może zdarzyć), choć można powiedzieć, że przy tak wyrównanej stawce ZB1 zasługuje na większą dotację, niż ZB10.

Ponieważ nic mi nie wiadomo, by ministerstwo prowadziło symulacje w tym zakresie, choć wiadomo np. że na potrzeby angielskiego REF specjaliści z marketingu publikują w czasopismach spoza swojej specjalności, bo te mają więcej „gwiazdek,” zakładam że takich badań nie było i problem został uznany za nieistotny.

 

Reklamy

7 Comments

  1. Właśnie w humanistyce monografia wydawnictw z tego najwyższego koszyka jest podniesiona do 300 punktów – tak przynajmniej jest w projekcie.

  2. Uważam, że kolega popełnia dwa kardynalne błędy. Pierwszy to to co wspomina komentator pod nickiem R. Co można sprawdzić w „Ewaluacja jakości działalności naukowej – przewodnik” str. 53 – monografia w HS w najlepszym wydawnictwie ma 300pkt. Drugie to przecenianie monografii jako środka komunikowania myśli naukowej. Wszystko zależy od środowiska i podejrzewam, że nawet w humanistyce znajdą się dziedziny, gdzie bardziej ceni się artykuły naukowe lub inne formy komunikacji. Nie zgadzam się również z oceną nowej ewaluacji. Będzie chaos, choćby w związku z deklarowaniem przynależności dyscyplinarnej, jak i przypisywaniem czasopism do dyscyplin. Jest to nic innego jak zabijanie interdyscyplinarności. Z resztą wystarczy zobaczyć na algorytmy, które uwzględniają deklaracje pracowników odnośnie zaangażowania % w daną dyscyplinę. A kwiatków wychodzi więcej im więcej analizuje się propozycje MNiSW.

  3. Także zgadzam się z tym, ze będzie prowadzić to do zabijania interdyscyplinarnosci.
    Zamiast badać coś ciekawego z możliwością wdrożenia nawiązując współpracę (nauki techniczne) korzystniej, że względu na punkty (no bo przecież ocena naukowa) jest pisac coś słabego nikomu nie potrzebnego ale tylko pod jednym nazwiskiem.

  4. Monografia mająca 1,5 pkt więcej niż artykuł w najlepszym czasopiśmie to dalej ciut mało. Przy 20-stronnicowym artykule i 200-stronnicowej monografii wychodzi 10 pkt. za stronę artykułu i 1,5 pkt. za stronę monografii. Nie opłaca się. A chaos owszem, będzie, ale nie z powodu zasad ewaluacji, tylko rozporządzenia w sprawie dyscyplin.

  5. No i oczywiście, jeśli w humanistyce istnieją dyscypliny, gdzie artykuł jest bardziej ceniony, niż monografia – rozporządzenie powinno to uwzględnić.

  6. Panie Piotrze, naprawdę nie przeceniajmy monografii w stosunku do innych form komunikacji. Dobry artykuł wymaga często skondensowania informacji na określonej liczbie stron i jest to wielka sztuka. Artykuł jest również, jak monografia efektem często wieloletnich badań. Stąd porównywanie objętościowe jest bez sensu. Porównujmy jakość i sito recenzenckie, którą muszą przejść prace. W naukach technicznych monografia jest często podsumowaniem wieloletniego etapu badań, czyli zebraniem dotychczasowych informacji opublikowanych, bądź nie, w jednym miejscu. Mnie drażni też ta dewaluacja punktów i liczenie pierwiastków z ułamków i ułamków. Przy przypisaniu żurnali do konkretnych dyscyplin, może to wszystko sprawić, że zamiast trafiać do różnych środowisk ze swoimi wynikami (a tak trzeba robić jeżeli chce się mieć badania interdyscyplinarne i współpracę na wysokim poziomie), to będę tracił czas na: zastanawianie i szukanie czasopism, które będą uznawane w mojej i kolegów oraz koleżanek dyscyplinie, sprawdzanie, czy będą się punkty dzielić, czy nie oraz czy podział będzie korzystny dla mojego nowego wydziału. Wbrew pozorom promowania interdyscyplinarności to dla nowego wydziału i katedry będę musiał zadeklarować 100% zaangażowania w dyscyplinę. Bo to będą konkretne punkty i pieniądze. Czyli jeszcze raz koniec wszelkiej interdyscyplinarności i koniec współpracy. Cóż a monografie humanistyczne, widziałem też takowe i cóż mam wrażenie, że jakby to wycisnął, to nie wiem, czy by może coś by się zostało na jedną może dwie strony dobrego artykułu. Ok. 2 strony, gdyż pierwsza to stopka redakcyjna, abstrakt i wstęp, a druga może być już treść i bibliografia.Dlatego piszmy i mówmy o jakości, nie o liczbie stron. Nie pozwólmy też szufladkować. Prawdziwa nauka potrzebuje swobody. Doceniajmy też to, że ludzie potrafią często z odległych dyscyplin łączyć wspólnie siły, współpracować i osiągać ciekawe wyniki. Nie karajmy ich za to, tak jak to teraz przewiduje nowa ustawa wraz z rozporządzeniami ewaluacyjnymi.

Możliwość komentowania jest wyłączona.