Pan minister Przemysław Czarnek ogłosił wczoraj na konferencji prasowej, że KEN podał wartości referencyjne progów na kategorie, i że nawet IDUBom grozi utrata uprawnień. Natomiast uczelnie prowincjonalne radzą sobie nieźle. Minister, co niepokoi, uznał, że utrata uprawnień przez uczelnie badawcza jest niedopuszczalna, co można traktować jako wyraz polityki „too big too fail.” Podał także, że uczelnie regionalne poradziły sobie względnie dobrze. W związku z tym zapowiedział korektę progów tak, żeby uratować zagrożone flagowce.
O ile pomysł ewaluacji przez wskaźniki uważam za trafny, o tyle sposób jego realizacji od lat za chybiony. I wyniki tej ewaluacji prawdopodobnie pokażą nam, że ustawodawca najpierw zrobił igrzyska śmierci, a potem zainteresował się, co wyszło.
Złośliwcy zapewne zaraz powiedzą, że widać te flagowe nie takie flagowe, skoro tracą uprawnienia. Mi też przeszło to przez myśl. Jednak sine ira et studio wychodzi, że przyczyny kolejnego występu szeregowego Snafu mogą być zupełnie inne.
Primo: w naukach o zarządzaniu może być duża rozbieżność między wynikami uczelni technicznych i pozostałych. Wykaz czasopism przypisuje m.in. do zarządzania czasopisma wielodyscyplinarne publikujące głównie teksty z nauk ścisłych i technicznych. Politechniki badające zarządzanie w wersji hard science (upraszczam nieco) częściej publikują w takich czasopismach albo w czasopismach dotyczących inzynierii produkcji, environmental management itd. To przekłada się na punkty, bo hard sciences zwykle mają lepsze wskaźniki.
Secundo: ponieważ zafundowano nam Igrzyska Śmierci, w których wszystkie chwyty dozwolone, część jednostek publikowała w wysokopunktowanych czasopismach, o których wiadomo, że niekoniecznie zależy im na dużej rejection rate. No i mają lepszy wynik, niż panienki dbające o reputację. Śmierć frajerom!
Tertio: Liczba N. Uczelnie dbające o równomierny rozwój kadry mogą mieć gorsze wyniki, niż te, które zostawiły na etatach badawczo-dydaktycznych 12 osób, resztę zamiatając pod dywan. Pardon, przenosząc na etaty dydaktyczne i do dyscyplin nieewaluowanych. To się odbije na wysokości subwencji, ale na razie mamy sukces.
Quarto: Grading on the curve. System ustalania progów działa jak nauczyciel oceniający klasówkę tak, że najlepszy dostaje zawsze 5, a końcowe 20% pałę. To działa, jeśli populacja jest zróżnicowana. Jeśli jest jednorodna (sami geniusze albo same osiołki) już nie, bo damy piątkę nieukowi albo oblejemy geniusza. W części dyscyplin różnice między najlepszymi a najgorszymi są tak niewielkie, że system progowy może doprowadzić do utraty kategorii i uprawnień przez dobre ośrodki.
Summa: jest szansa, żeby doświadczenie tej ewaluacji wykorzystać do stworzenia działającego systemu. Tylko zanim stworzymy kolejny cud-algorytm zastanówmy się, co mierzymy, dlaczego i po co. No i czy stosujemy właściwe miary. Bo osiągnięcia słonia możemy badać w odniesieniu do tego, jaki ma wynik w sprincie na 100m, a geparda w odniesieniu do tego, jaki ciężar uniesie. Tylko niewiele nam to powie i o słoniu i gepardzie.
Piotr Stec 
Za krytyczny błąd tego (jeśli mogę się tak wyrazić) systemu oceny uważam ideę ustanowienia wartości referencyjnych post-hoc (punkt czwarty u autora). Ten pomysł sam jeden, nawet bez dodatkowych nadużyć, niedoróbek i przeróbek, musiał spowodować, że zamiast rozsądnej oceny wyników pracy naukowych instytucji uzyskano maniacki wyścig, nastawiony na jednorazowy wynik, często nawet niemożliwy do powtórzenia. Bo ile razy w ciągu krótkiego czasu można wygarnąć z szuflady wszystkie resztki zgromadzone przez całe naukowe życie i pod presją kierownictwa opublikować je w mało drobiazgowych czasopismach? Osobiście uważam tę ewaluację za całkowitą klęskę z elementami groteski. Nawet jeszcze zanim opublikowano rezultaty.