Dziś użyczam łamów bloga anonimowemu sekretarzowi redakcji jednego z czasopism naukowych walczącego z wprowadzaniem danych czasopisma do naszego akademickiego Skynetu. Mail od anonimowego męczennika nauki poniżej:
„Czy nie masz wrażenia, że urzędnicy w Ministerstwie jednak oderwali się od rzeczywistości ? Otóż tzw. pełny rekord bibliograficzny to nie tylko skopiowanie wszystkich (na 2 lub 6 lat wstecz, my chcemy na 6 lat ) przypisów ze wszystkich zeszytów z PDF do WORD-a, potem zabawa w stylu usuwanie ibidem, powtórzeń, stron itd. Największy cyrk zaczyna się z zamianą na Chicago (rekomendowaną przez POL-index) co oznacza, że w przypadku książek trzeba podać wydawnictwo (w XXXX – ie nie podajemy w przypisach wydawnictw tylko np. Warszawa 2007, dlatego trzeba je odszukać) a w przypadku czasopism dodatkowo stron !!! I to nie strony cytowanej przez Autora, ale wszystkich stron danego artykułu czyli np. 17-28; co też nie wynika z przypisu. W obu przypadkach trzeba podać pełne imię. Wszystkie te zabiegi trzeba wykonać kilkaset razy (a poszukiwania nie zawsze kończą się sukcesem). Np. zeszyt 1/2012 ma ponad 100 pozycji bibliograficznych razy 4 zeszyty czyli ok. 400 w 2012 roku. Jeśli przemnożymy to przez ilość lat to wygląda na to, że trzeba utworzyć ok 2 400 pozycji w nie respektowanym dotąd w polskich warunkach wydawniczych stylu Chicago, fajnie prawda ? Czy nie można było wydać wytycznych dla wydawnictw, żeby dostosować przypisy do oceny parametrycznej za jakiś czas ? I następnie utworzyć Polski Współczynnik Wpływu i Polski Indeks Cytowań. Ale może ja czegoś nie rozumiem.
A oto jedna z instrukcji FAQ dla redakcji czasopism:
Co z artykułami bez bibliografii załącznikowej?
Dla artykułów naukowych, które nie mają bibliografii załącznikowej na końcu artykułu, natomiast posiadają bibliografię w postaci przypisów dolnych należy ręcznie stworzyć bibliografię załącznikową na potrzeby systemu POL-index na podstawie przypisów dolnych.
Oto nowe zadanie dla naukowca (zakładam, że redakcje czasopism to pracownicy naukowi). U nas niezastąpiony jest NN, ale w dłuższej perspektywie musi się odmóżdżyć kilku innych pracowników. „
Summa fecit:
- Ministerstwo jak zwykle wymyśliło zadania bojowe z terminem na wczoraj i w momencie, kiedy świat akademicki jest na urlopach, które musi wykorzystać akurat w wakacje. Za upały Ministerstwo zapewne nie odpowiada, choć zaczynam wierzyć, że terminy wybrano tak, żeby jak najmniej czasopism było w stanie sprostać zasadom nowej punktacji.
- Jako preferowany wybrano b. dobry, choć najmniej u nas popularny styl przypisów bibliograficznych, co zmusza do dodatkowego cudowania, a o takich drobiazgach jak przygotowanie spolszczonej wersji Chicago to nikt nie pomyślał, więc będzie pewna dowolność. O istnieniu normy PN-ISO 690 to nawet nie wspomnę, widać nie obowiązuje.
- No i teraz zagwozdka dla redakcji czasopism: czy Chicago będzie obowiązującym standardem preferowanym przez Skynet także w latach kolejnych? Jeśli tak – rozsądne jest przejście przez redakcje na Chicago. Jeśli natomiast okaże się, że za 2 lata kochamy ISO 690, APA albo inne cudo – zabieg nie ma sensu.
- Last but not least, redakcje czasopism są teraz tanią siłą roboczą – niewolnikami na plantacjach bawełny, odrabiającymi na akord mrówczą pracę polegającą na stworzeniu ogólnopolskiej bazy bibliograficznej i cytowań. Robota, za którą Skynet powinien był zapłacić komuś niezłe pieniądze, a w dodatku dublująca już istniejące bibliografie. W ten sposób redakcje są darmową siłą roboczą, niewolnikami harującymi na plantacji bawełny, bo nie mają innego wyjścia. Natomiast wyniki zagarnie Właściciel Niewolników, czyli Skynet.
- No i takie rozrywkowe pytanie – komu będą przysługiwały prawa do tak stworzonej bibliograficznej bazy danych i na jakich zasadach będzie ona udostępniana publiczności?
przykro mi, ale sekretarza redakcji, który robi takie błędy interpunkcyjne, należy po prostu zwolnić,
co do zaskoczeń, fundowanych przez urzędasów, pełna zgoda
@Johnny Kushel – pisał Pan kiedyś maila na szybko i w 40C upale? Tekst nie był redagowany, jak większość tego typu korespondencji. Jeśli chce się Pan pobawić i podesłać wersję skorygowaną – zapraszam.
Ciekawe, co by powiedział p.Piotr @IC, tak chętnie komentujący u p.Kulczyckiego…
@Marcin sens uwagi mi umknął.
@Piotr Stec:
Polecam goraca dyskusje na http://ekulczycki.pl/warsztat_badacza/rewolucja-w-liczeniu-punktow-za-publikacje-w-czasopismach/#disqus_thread
@Marcin Mojej działki to najmniej dotyczy, jeśli chodzi o artykuły jesteśmy w większości samotnikami (problem pojawia się przy monografiach), niebezpieczne byłoby przy pracach interdyscyplinarnych. Dzielenia punktów nie uważam za dobry pomysł, ale o ile wiem jest też stosowany za granicą.
@Piotr_Stec,
A można wiedzieć gdzie, konkretnie, za granicą? Pracowałem w Japonii, w Niemczech, i w USA, i nigdzie się nie spotkałem z punktami za publikacje. Ichnie procedury awansowe peer-review opierały się na tym CO się publikowało i ew. cytowaniach, a nie GDZIE (treść wpływała na to, jak dobrze się publikowało, więc samo czasopismo było kwestią najwyżej wtórną).
@Marcin, o ile wiem to niektóre kraje skandynawskie stosują system punktowy i to do oceny UCZELNI, nie UCZONYCH. Porównanie też jest tu niekoniecznie łatwe, bo gdzieniegdzie ewaluacja służy samoocenie i ulepszeniu działalności uczelni, gdzieniegdzie od wyniku zależą finanse itd. Poza tym nie można porównywać w oderwaniu od systemu nauki i szkolnictwa wyższego (inne przepisy, tradycje, praktyka, warunki społ-ekon itd). To natomiast, do czego Pan się odnosi to kwestia oceny dorobku i awansu. Tu rządzi peer review. To też się trochę zmienia, bo wszędzie tam, gdzie istnieje odpowiednik ewaluacji jednostek, szefostwo przy awansach i zatrudnieniu patrzy także na to, czy się delikwent przyczyni do oceny w konkursie piękności.
Rule of the thumb jest taka, że im mniejsze zaufanie do rzetelności peer review, tym większa skłonność do „wyceny” jakości badań metodami punktowymi. Poza tym eweluacja wg wag i wskaźników jest tańsza i szybsza, a równie niedokładna, co peer review.
Problemem oczywiście jest to, czy system wag i wskaźników jest OK i pozwala cokolwiek zmierzyć.
@Gospodarz
Odnosiłem się do clou wypowiedzi („Dzielenia punktów nie uważam za dobry pomysł, ale o ile wiem jest też stosowany za granicą.”), podpierając opinię wieloletnimi obserwacjami osobistymi oceny uczonych poza Polską (awans/utrzymanie etatu to najużyteczniejsza aplikacja takiej oceny).
Nie jestem świadom, by punktowy system działał w Skandynawii, ale chętnie zmienię opinię w oparciu o więcej szczegółów.
ABSOLUTNIE zgadzam się z ostatnim zdaniem. Nie zgadzam się za to z „eweluacja wg wag i wskaźników jest tańsza i szybsza, a równie niedokładna, co peer review”: chyba nie należy rozciągać naszych krajowych miar na cały świat…
@Marcin Ceniąc sobie naszą dyskusję proponuję zacząć od istotnego rozróżnienia. Czymś innym jest ocena UCZONYCH, czymś innym jest ocena UCZELNI (wydziału, jednostki itd) w ramach oceny parametrycznej, REF czy innej podobnej procedury. Do oceny dorobku UCZONEGO nadaje się peer review i tu chyba nikt nie ma wątpliwości. Miary bibliometryczne mogą mieć znaczenie pomocnicze (np. do ustalenia, czym jest znaczący dorobek, podobną rolę pełnią wytyczne w faculty handbooks). Natomiast istnieje kilka metod oceny jakości badań na konkretnej uczelni/wydziale. Model brytyjski w uproszczeniu wymaga oceny eksperckiej zgłoszonych publikacji i ich oceny w skali od najwyższy poziom światowy po poziom krajowy (http://www.ref.ac.uk/). Tu problemem jest a) konieczność przeczytania i oceny przez recenzentów znacznej liczby tekstów w stosunkowo krótkim czasie b) płynność oceny – uzasadnienie jakości tekstu/innych osiągnięć jest obarczone znaczną dozą subiektywizmu. W wersji wg wag i wskaźników poszczególnym tekstom przypisuje się wagi i wynik zlicza wg algorytmu, więc wynik jest obiektywny, ale przy źle dobranych miarach, albo osiągnięciach nie mieszczących się w systemie dostaniemy wypaczony wynik (akurat przykład naszej parametryzacji się nasuwa).
Ubocznym skutkiem takiego, czy innego systemu oceny UCZELNI jest to, że UCZONYCH ocenia się coraz częściej nie według jakości ich pracy, a jej przydatności dla oceny parametrycznej czy jakiegoś innego jej odpowiednika. Clou programu polega na tym, żeby tak ustawić zasady oceny UCZELNI, żeby nie wypaczyć systemu oceny UCZONYCH.
Co do rozwiązań skandynawskich, to podałem za E. Kulczyckim, natomiast odnośniki do tekstów bardziej uczonych ma Pan tutaj: http://www.palgrave-journals.com/eps/journal/v8/n3/full/eps200919a.html