Jak przyznaje sama Autorka:
- Dane dotyczące aktywności grantowej Instytutów PAN pozyskano "od wybranych agencji grantowych" [s. 27],
- "dla Wydziału I w zakresie aktywności publikacyjnej, wykonano analizy tylko dla Instytutów, które znalazły się w bazie SciVal" [s. 28].
Dokonując oceny potencjału dostępnych źródeł, danych i możliwości analizy, Autorka wskazuje takie "zagrożenia", jak min. "brak pełnych danych bibliometrycznych w bazie SCOPUS dotyczących aktywności Instytutów PAN Wydziału I" [s. 331] i "rozbieżność danych prezentowanych w obu bazach bibliometrycznych (SCOPUS i Web of Science), co może utrudniać jednoznaczną ich interpretację" [s. 331].
Siłą rzeczy przywołać należy ewaluację przeprowadzoną przez KEJN. Utworzony z 30 badaczy reprezentujących szerokie spektrum dyscyplin i typów jednostek naukowych, Komitet w całym swoim składzie opracował złożone i wielorakie kryteria oceny nauki, jednak nie podjął się dokonania oceny własnymi siłami. W ewaluacji 2017 powołano przeszło 150 ekspertów, których zadaniem była weryfikacja danych dostarczonych przez jednostki. Od tego bowiem wszystko powinno się zacząć: od właściwego doboru kryteriów oraz rzetelnego sprawdzenia danych.
Poniższe uwagi dotyczą analizy osiągnięć Wydziału I Nauk Humanistycznych i Społecznych, której kuriozalne konstatacje należy w całości odrzucić z następujących powodów:
1. RAPORT PORÓWNUJE NIEPORÓWNYWALNE
Zestawiono instytuty reprezentujące dyscypliny o nieporównywalnym profilu badawczym, odmiennej tradycji publikacyjnej i celu społecznym. Tymczasem o sile i randze badań naukowych realizowanych w PAN stanowi pozycja instytutów w całym krajobrazie nauki polskiej, a tę pokazuje ewaluacja ministerialna, porównująca instytuty PAN z jednostkami uczelnianymi o możliwie podobnym zakresie.
Przypomnijmy, że KEJN w 2013 i 2017 oceniał jednostki w ramach grup dyscyplin (Grupy Wspólnej Oceny) i do każdej z nich powoływał odrębny zespół ewaluacji, złożony z badaczy reprezentujących dane dyscypliny.
2. ZASTOSOWANO NIEADEKWATNE KRYTERIA OCENY
Do oceny wszystkich instytutów Autorka Raportu zastosowała takie same kryteria, nieadekwatne w stosunku do znacznej części dyscyplin humanistycznych (np. historia, nauki o sztuce, literaturoznawstwo, historia nauki), ale także niektórych nauk społecznych (prawo). Dotychczasowa lista A, z uwagi na swój zakres, mogła mieć jedynie bardzo ograniczone zastosowanie do oceny tych dyscyplin, natomiast baza SCOPUS, która będzie podstawą ministerialnej ewaluacji od 2019, ciągle jeszcze daleka jest od kompletności i reprezentatywności.
Nie wzięto natomiast pod uwagę tego dorobku, który wyróżnia zwłaszcza humanistyczne instytuty Wydziału I PAN na tle innych jednostek – chodzi o liczne zespołowe zadania badawcze, których rezultatem są monumentalne wydawnictwa i bazy danych, dokumentujące m.in. polską kulturę, sztukę i historię oraz historię nauki, i upowszechniające wiedzę z tego zakresu w kraju i na świecie. Przeliczanie tego dorobku na liczbę rozdziałów nie oddaje jego istoty i znaczenia.
3. RAPORT OPIERA SIĘ NA NIERZETELNIE ZGROMADZONYCH I PRZEANALIZOWANYCH DANYCH
Publikacje
Niektóre z wiodących polskich czasopism z zakresu nauk humanistycznych i społecznych w różnych latach badanego przedziału figurowały na listach B, C i w bazie SCOPUS. Powstaje pytanie, w jaki sposób Raport uwzględnia i różnicuje to zmienne (a niekiedy równoległe) przypisanie.
Z niektórych Instytutów napływają głosy o zaniżonej przez Autorkę Raportu liczbie publikacji w bazie SCOPUS (być może z powodu mylnie w niej występujących anglojęzycznych nazw instytutów).
PBN nie jest źródłem w pełni miarodajnym, bowiem zawiera surowe dane wprowadzone przez jednostki – niekiedy błędnie, z powtórzeniami, bez rozróżniania publikacji naukowych i popularnych, dlatego na potrzeby ewaluacji MNiSW dane były gruntownie weryfikowane przez ekspertów. Ponadto w Raporcie operuje się bezwzględną liczebnością publikacji przypisanych w PBN instytutom, a nie liczebnością publikacji w przeliczeniu na liczbę pracowników naukowych.
Granty
Nie rozumiemy, dlaczego w Raporcie w ogóle nie uwzględniono niezwykle ważnych dla Wydziału I grantów Narodowego Programu Rozwoju Humanistyki.
Z kolei prestiżowe europejskie granty HERA (Humanities in the European Research Area http://heranet.info/) mylnie uznano za granty przyznawane przez NCN. I choć w ewaluacji 2017 Instytut Sztuki PAN był jedyną w kraju jednostką naukową legitymującą się aż dwoma grantami HERA (jako żywo europejskimi), nie zostało to w ogóle w Raporcie odnotowane, podobnie jak grant HERA realizowany przez Instytut Nauk Prawnych PAN. Obydwa te instytuty wspólnie uczestniczyły także w grancie Horizon 2020 (co wobec przeoczenia tego faktu w Raporcie nie pozwoliło zarazem Autorce dostrzec współpracy między tymi instytutami). Dwa granty Horizon 2020 realizuje Instytut Badań Literackich PAN. Według Raportu, żaden z wymienionych wyżej instytutów nie ma w dorobku projektów unijnych (zob. Raport, s. 216: Tabela 58). Tym samym nie jest brana pod uwagę ich współpraca międzynarodowa w zakresie grantów.
Po wyeliminowaniu błędów statystyka grantowa Wydziału I wypadłaby wyraźnie korzystniej.
4. DANE ZINTERPRETOWANO W BŁĘDNY SPOSÓB
Wnioski wysnuwane przez Autorkę Raportu ze zgromadzonych wadliwych danych dowodzą niezrozumienia sposobu funkcjonowania jednostek humanistycznych (i części nauk społecznych, jak np. nauki prawne).
Jeżeli z 14 jednostek Wydziału I Autorka Raportu wyłuskuje pięć, które jako jedyne mają publikacje w bazie SCOPUS i z nich układa "hierarchię" (Raport s. 155), wskazując instytuty "poniżej przeciętnej", to można zadać pytanie o logikę takiej statystyki.
"Współpraca międzynarodowa w ramach aktywności publikacyjnej" wyraża się, zdaniem Autorki, głównie poprzez artykuły współautorskie w czasopismach naukowych, i to tych ujętych w bazie SCOPUS. Tymczasem w przeciwieństwie do nauk "twardych" i części społecznych, autorzy-humaniści są z reguły solistami. Interpretowanie braku publikacji powstałych we współautorstwie z autorami zagranicznymi jako dowodu braku współpracy międzynarodowej jest zatem pomysłem podwójnie kuriozalnym: po pierwsze, pozycje współautorskie w ogóle są w humanistyce rzadkością, a po drugie Raport uwzględnia w tym aspekcie jedynie publikacje w wybranych czasopismach (nie zaś o wiele częstsze u humanistów i w niektórych naukach społecznych artykuły w książkach zbiorowych, które jako całość – a nie poszczególne teksty – często są efektem organizowanych w międzynarodowej współpracy konferencji czy projektów).
Niektóre instytuty PAN są JEDYNYMI w danym (specyficznym) zakresie. Zamiast szukać partnerów według klucza organizacyjnego (PAN), organizują swoją współpracę z jednostkami o przydatnym do współdziałania profilu, przy czym współpraca ta przyjmuje formy inne niż wspólne pisanie tego samego artykułu.
Zauważmy, że obecnie pod patronatem Międzynarodowej Unii Akademickiej, a zatem i pod patronatem PAN (!), są realizowane w jednostkach PAN (Instytut Historii Nauki, Instytut Filozofii i Socjologii Nauki oraz Instytut Języka Polskiego) trzy duże i długotrwałe międzynarodowe projekty badawcze i edytorskie, które nie zostały uwzględnione w Raporcie.
5. RAPORT W GRUNCIE RZECZY PORÓWNUJE NIE INSTYTUTY, TYLKO GRUPY DYSCYPLIN
Autorka Raportu zakłada, że model publikacyjny i grantowy powinien być dla wszystkich dyscyplin identyczny. Podczas gdy jednak nauki ścisłe i przyrodnicze funkcjonują w globalnym obiegu, podejmując badania niezależne od lokalnego kontekstu ("dla ludzkości"), to w humanistyce, w badaniach nad kulturą i sztuką, nadrzędny jest obowiązek podejmowania tematów ważnych dla własnego społeczeństwa – nawet jeśli miałyby one nie interesować żadnego czytelnika za granicą. Istnieje bowiem taka sfera badań, której poza polskimi badaczami nie podejmie nikt.
Przyjęte przez Autorkę kryteria, zastosowane do wydziałów uczelni, dałyby identyczny obraz: poloniści publikują w czasopismach z bazy SCOPUS rzadziej niż psychologowie. Do tego współpracują częściej z polonistami z innych ośrodków, niż z "własnymi" fizykami. Tyle, że do takich wniosków nie potrzeba wielu miesięcy analiz – to wszyscy wiemy od dawna.
Na koniec pozostaje pytanie o CEL.
Przy założeniu, że Raport powstał z rzeczywistej troski o poziom nauki w instytutach PAN, to – nawet w obecnej niezwykle wadliwej formie – powinien być przekazany wyłącznie dyrektorom. Najwłaściwszym rozwiązaniem byłoby jednak dopuszczenie instytutów do jego tworzenia poprzez dostarczenie zweryfikowanych informacji, a także uwzględnienie istniejącej w środowisku eksperckiej wiedzy z zakresu ewaluacji – mamy w naszym gronie kolegów, którzy uczestniczyli jako eksperci w ocenach parametrycznych 2013 i 2016 i dobrze znają problemy wiarygodności danych.
Raport powstał jednak w tajemnicy, po czym został szeroko udostępniony. Sformułowane w nim wnioski już krążą w przestrzeni publicznej. Oto w świat poszedł fatalny sygnał, że Polska Akademia Nauk kwestionuje wysokie kategorie przyznane instytutom PAN przez Ministra Nauki i Szkolnictwa Wyższego, a także wyniki ocen dokonanych przez rady kuratorów.
Na s. 14 Raportu czytamy:
"Obraz jednostek PAN wyłaniający się z przedstawionej analizy wskaźników bibliometrycznych i grantowych jest ważny dla zrozumienia światowego wizerunku PAN. Właśnie przez tego rodzaju wskaźniki PAN i poszczególne instytuty są postrzegane na świecie przez naukowców, którzy szukają partnerów do współpracy czy instytucji naukowych".
W odniesieniu do nauk humanistycznych i np. prawnych – NIC BARDZIEJ MYLNEGO. Nasi partnerzy zagraniczni nie studiują wskaźników bibliometrycznych, w większości dyscyplin HS uważanych za nieistotne – po prostu czytają publikacje naszych koleżanek i kolegów (także te w języku polskim) i doceniają poziom naukowy powadzonych w naszych placówkach badań. Przyjeżdżają do nas jako do najlepszych ośrodków, w których mogą dany temat zrealizować.
Ufamy, że jednoosobowo i niewiarygodnie przeprowadzona ocena tego nie zmieni.
prof. dr hab. Grażyna Borkowska, czł. koresp. PAN
dr hab. Ewa Dahlig-Turek, prof. ISPAN, dyrektor Instytutu Sztuki PAN
dr hab. Helena Krasowska, prof. IS PAN, z-ca dyrektora ds. naukowych Instytutu Slawistyki PAN
prof. dr hab. Wojciech Kriegseisen, dyrektor Instytutu Historii PAN
dr hab. Danuta Kuźnicka, prof. ISPAN, z-ca dyrektora ds. naukowych Instytutu Sztuki PAN
dr Grzegorz Marzec, z- ca dyrektora Instytutu Badań Literackich PAN
prof. dr hab. Stanisław Mossakowski, czł. rzecz. PAN, czł. czynny PAU
prof. dr hab. Karol Myśliwiec, czł. rzecz. PAN
dr hab. Celina Nowak, prof. INP PAN, dyrektor Instytutu Nauk Prawnych PAN
dr hab. Teodozja Rzeuska, prof. IKŚiO, dyrektor Instytutu Kultur Śródziemnomorskich i Orientalnych PAN
prof. dr hab. Mikołaj Sokołowski, dyrektor Instytutu Badań Literackich PAN
prof. dr hab. Jerzy Wilkin, czł. rzecz. PAN
prof. dr hab. Elżbieta Witkowska-Zaremba, czł. rzecz. PAN
prof. dr hab. Jarosław Włodarczyk, dyrektor Instytutu Historii Nauki PAN w kadencji 2015–2019