Wille E. Coyote Genius Extraordinaire

“Besides, do any of us understand what we are doing? If we did, would we ever do it?”
― George Bernard Shaw, Pygmalion

Przeciwko wykazowi czasopism protestują, kolejne, obudzone ze snu zimowego, ciała (niekompletna lista towarzyszy poprzedniemu wpisowi). Żadne z nich, poza KRASP chcącą wrócić do poprzedniej listy, nie uwzględniającej np. polskich czasopism, które weszły w ostatnich 2 latach na SCOPUS/WoS, nie proponuje jednak, co z fantem zrobić. I chyba nikt nie wie, bo Wielka Maszyna Ewaluacyjna ruszyła i idzie. Golem ze źle napisanym szemem (już twórcy legendy o golemie wiedzieli, że o wszystkim decyduje algorytm i oprogramowanie). Może tak powinno być. Zróbmy ewaluację i sprawdźmy, czy system się rozleci czy nie i będzie wiadomo, co poprawić. O ile oczywiście nasz golem nie rozwali systemu tak, że nie będzie co zbierać.

Tak w ogóle, to mam wrażenie, że nasz system kategoryzacji został przeklęty osobiście przez Wille’go E. Coyote. Ponieważ poważni czytelnicy tego bloga mogą nie wiedzieć, kto zacz – wyjaśniam. Willie E. Coyote to kojot z kreskówki. Goni strusia Pędziwiatra. I nie może go dogonić. Willie ma zawsze mnóstwo cwanych pomysłów na złapanie strusia, ale nawet najlepsze z nich nie wypalają. Zazwyczaj z przyczyn obiektywnych. A to ACME dostarczyło wadliwy towar, a to pogoda lub inny przypadek uniemożliwiają strusiocyd. Tak czy siak – choćby nie wiem jak kojot się starał – nie wychodzi. Zupełnie jak nasze parametryzacje, ewaluacje i inne ćwiczenia mające już-już wprowadzić polskie uczelnie do pierwszej setki dowolnego rankingu.

Świadomy klątwy Willie’go E. Coyote spróbuję jednak zaproponować co zrobić z tym pasztetem.

Po pierwsze – sparametryzować i zewaluować do końca. Ponieważ ministerstwo już wie, że cała akcja skończy się kolejnym wesołym beeep-beep Strusia Pędziwiatra, zrobić to bez negatywnych konsekwencji dla praw akademickich. Ba, można nawet utrzymać przez następnych parę lat wprowadzoną ad experimentum regułę, że do uzyskania praw akademickich wystarcza odpowiednia liczba pracowników z doktoratami i dorobkiem naukowym oraz decyzja RDN. Kulawe, ale w czasach gdy dowolne czasopismo może skoczyć z 1 na 40 pkt albo z 20 na 100 albo spaść z 200 do zera bardziej fair niż ewaluacyjny totolotek. Jeśli jeszcze doprecyzujemy, jaki ten dorobek ma być (dla każdej dyscypliny osobno) i parę innych szczegółów to ten system może nawet zostać z nami na stałe.

Zmodyfikować trzeba także algorytm subwencji, bo obecny jest zabójczy dla uczelni dydaktyczno-badawczych. Każdy typ uczelni (na teraz – IDUBy i te, które startowały w konkursie na IDUB, dydaktyczno-badawcze i zawodowe) powinien mieć osobny algorytm finansowania i osobną pulę środków. Obecny algorytm jest dość sprawiedliwy dla uczelni badawczych i zawodowych (w przypadku tych ostatnich nie zachęca jednak do doskonalenia). Szczegóły dopiero wtedy, jak ktoś będzie naprawdę chciał sensowne przepisy napisać.

Tworząc nową ewaluację nauki trzeba będzie oddzielić ocenę jakości badań od performance-based metrics wpływających na finansowanie uczelni. Te ostatnie, wbrew intencjom twórców ewaluacji i parametryzacji, nie mówią nic o jakości, a tylko o tym, jak dobrze uczelnie wpisują się w cele polityczne rządu. A wpisują się zwykle sprawnie, bo dostosowywanie się do wskaźników mamy we krwi. Proponowałbym zatem, żeby to, co jest składnikiem badawczym (kategoria) algorytmu zastąpić miarami pokazującymi jak dobrze uczelnia realizuje swoją misję i wpisuje się w cele polityki rządu. Zakładam, że jakaś się pojawi. W grę wchodziłyby na przykład odsetek publikacji w preferowanych przez rząd wydawnictwach i czasopismach, współpraca z otoczeniem obejmująca także publikacje popularnonaukowe i praktyczne oraz jakość dydaktyki mierzona trochę ciekawszymi miarami niż zarobki absolwentów dostępne via ELA. Wagi i progi byłyby ustalane osobno dla poszczególnych grup pracowników, dyscyplin i kategorii uczelni. W przypadku pracowników dydaktycznych brano by pod uwagę rozwój zawodowy pracowników – ich publikacje, uzyskane stopnie i tytuły, dokształcanie, osiągnięcia studentów itp itd. Czyli każda uczelnia mogłaby swobodnie definiować i realizować swoją misję bez obawy, że np. decyzja o zostaniu liberal arts university zabije nas finansowo.

Ewaluacja rozumiana jako ocena jakości badań powinna być przeprowadzana w ramach peer review i być tylko narzędziem diagnostycznym. Powinno ją poprzedzić określenie kryteriów oceny i benchmarków pozwalających na porównanie uczelni ze standardami międzynarodowymi. Czyli porównujemy UW z Harvardem a nie z Leuphaną czy Pcimiem, ale Pcim być może właśnie z Leuphaną czy Vessalius College. Oceniano by rozwój uczelni w danej dyscyplinie, to, czy ma wyniki, ale także co robi, żeby zapewnić pracownikom możliwości rozwoju i czy się rzeczywiście rozwija. Zespoły oceniające mogłyby być międzynarodowe (do tego, żeby ocenić, czy Instytut Historii Akademii w Zerwipludrach jest dobry nie trzeba koniecznie przestudiować wszystkich opublikowanych tam dzieł), a wszystkie dokumenty ich prac – jawne.

Na razie jednak chciałbym wariant minimum – opublikowane metodyki, według których przygotowywano progi punktowe w poprzednich parametryzacjach, zasady oceny kryterium 4 (wpływ na otoczenie), metodyki oceny czasopism stosowane przez komitety nauk PAN (do dziś mają wpisane to zadanie w ustawę) oraz, a może przede wszystkim – komplet danych źródłowych do poprzednich parametryzacji. Można będzie wtedy zrobić porządne badania, opublikować je i wtedy będziemy mieć dość danych do zrobienia sensownych miar, wag i zasad oceny. Evidence-based policy może się zadziałać jeśli nie przestraszymy się tego, co możemy zobaczyć w lustrze.

Oczywiście pracom powinien patronować nowy Wille E. Coyote Research Fund.