Vědci posuzují nový systém hodnocení vědy

Nové zásady hodnocení výzkumných organizací od roku 2017, které přinesou velké změny stávajícího systému, schválila vláda na zasedání ve středu 8. února. Jak se vám líbí? Splnily, nebo nesplnily vaše očekávání? Zeptali jsme se význačných českých vědců.

prof. RNDr. Eva Zažímalová, CSc.

Biochemička, nastupující předsedkyně Akademie věd.

To není otázka „líbení“. Jsem přesvědčena, že jde o krok správným směrem, respektive o návrat k dobré praxi ve vědecky vyspělých zemích. Je samozřejmé, že bude potřeba dopracovat „prováděcí pokyny“ a na různých místech příslušné dokumenty upřesnit. Každopádně je výborné, že už věda nebude redukována pouze na sumu výstupů a bodové přepočty k financování a že daleko větší důraz se bude klást na typ hodnocení výzkumné organizace (na její poslání) a na informované „peer-review“ při vlastním hodnocení. Za velmi správný považuji také postupný náběh nového způsobu hodnocení.

prof. Mgr. Miroslav Bárta, Dr.

Egyptolog a archeolog, ředitel Českého egyptologického ústavu FF UK a ředitel koncese pro výzkum v Egyptě.

Hodnocení vědy stále dokola… Omlouvám se, nechci se nikoho dotknout, zejména ne těch, kdo to myslí dobře, ale v čem to tedy je? Všichni obdivují Ivy League, naše část Evropy je posedlá komisemi, tabulkami a indexy, které mají vytvořit tu světovou vědu. Na Ivy se moc věda netabulkuje, tam se dělá. Na Harvardu je normální dělat vědecké sborníky, monografie, samozřejmě články rovněž a přirozeně převažují. Proč je ale v Česku prakticky na blacklistu ten, kdo na Ivy publikuje něco, co u nás nepasuje do tabulek a bodového hodnocení? Proč se mám prakticky omlouvat za monografii na které dělá 25 lidí z celého světa několik let? Navíc vydanou v respektované české řadě a ne někde venku. Kde se dělá ta „skutečná“ věda? Proč mám vysvětlovat, že nejvýznamnější konference v našem oboru se konají v Praze a ne v obdivovaném zahraničí? Takže jak?

prof. RNDr. Jiří Šponer, DrSc.

Fyzikální chemik, Biofyzikální ústav AV ČR a Přírodovědecká fakulta Masarykovy univerzity.

Z materiálu, který mám k dispozici, se nedá prakticky vůbec nic poznat. Osobně ale mám ty nejhorší zkušenosti s tím, když se u nás zavádí něco, aby to bylo „jako na Západě.“ Většinou to dopadne jako tragikomická karikatura.

Obávám se, že se jen přidá další úřednicko-byrokratická zátěž k těm, které už teď devastují českou vědu a vědce. Navíc se zavedený systém pravděpodobně následně ohne a zdeformuje k nepoznání, tak, jak to ty či ony vlivové skupiny budou potřebovat. Dokud není k dispozici detailní realizační rozpracování, jsou termíny jako „strategie a koncepce“, „životaschopnost“ atd. jen prázdné bezobsažné floskule. Kdo to určí? Jak to určí? Obávám se, že ve státě, kde řídící struktury vědy se byrokratizují dle exponenciální křivky a jsou ve stadiu permanentního personálního rozvratu, a kdy velká část akademické komunity o žádné hodnocení upřímně řečeno nestojí, může i dobře míněný pokus o reformu vést k dalšímu zhoršení stávajícího stavu.

Ale jak říkám, informace, které mám k dispozici, neumožňují žádný kvalifikovaný komentář. Pouze varují před možnými riziky, kterých se obávám.

P. S. Pokud by vláda skutečně chtěla udělat něco efektivního ke zlepšení výsledků české vědy, tak by se měla razantně pokusit o snížení absurdní byrokratické zátěže, kterou je česká věda prosáklá ve všech patrech a která výkonné vědce už doslova a do písmene ničí. Tím by se naše výkonnost zvedla a nic by to nestálo. Vědecká excelence se neodvozuje od slova excel a je nepřímo úměrná počtu grantových zpráv a jejich délce.

P. P. S. Pokud jsem někoho naštval, tak se velice omlouvám.

doc. Ing. Daniel Münich, PhD.

Ekonom, působí v CERGE-EI, společném pracovišti AV a UK.

Návrh nového systému institucionálního hodnocení vědy a výzkumu naplnilo má očekávání do té míry, že definitivně opouští dosud panující naivní a primitivní představy o hodnocení ala kafemlejnek a přišlo s vizí standardního moderního přístupu k hodnocení výzkumných organizací. Navíc preambule dokumentu dosvědčuje, že autoři jsou si vědomi zásadního významu hodnocení pro řízení systému VaV, což obnáší diametrálně více než jen problém, jak rozdělit veřejnou podporu na VaV mezi výzkumné organizace, jak to bylo dosud vnímáno.

Na druhou stranu jsem zklamán tím, že návrh vznikl na poslední chvíli bez veřejné konzultace, je šitý horkou jehlou, je nevyvážený svou podrobností a mnohde nejasný. Jde spíše o rámcový záměr, který bude muset být doplněn o mnoho prováděcích pravidel a informačních nástrojů. Příprava hodnocení vyžaduje mnoho zdlouhavé a intenzivní přípravy, včetně pilotního ověření a ustavení zahraničních panelů. Mám velkou obavu, že snaha řešit krátkodobé problémy vymýšlením přechodných systémů na pár let pohltí veškeré síly, takže se pořádné hodnocení stejně nestihne připravit. Nakonec se může stát, že nebude hodnocení vůbec žádné. Vůbec bych se nedivil, protože nevidím silné hráče, kteří by na zavedení pořádného hodnocení měli skutečný a silný zájem, přinejmenším stejně silný, jako je jejich zájem na čerpání prostředků daňových poplatníků na VaV. Zklamán jsem také tím, že se i v tomto volebním období nesáhlo na přípravu systémového hodnocení programů účelové podpory VaV. To je přinejmenším stejně důležitá agenda jako hodnocení institucionální.

prof. MUDr. Cyril Höschl, DrSc., FRCPsych

Ředitel Národního ústavu duševního zdraví.

Žádné očekávání jsem v tomto směru neměl, nemohlo být tudíž ani splněno, ani nesplněno.

prof. RNDr. Václav Hořejší, CSc.

Ředitel Ústavu molekulární genetiky AV.

Jsem spokojen jen částečně. Pozitivní je, že je nahrazen dosavadní skutečně již neúnosný „kafemlejnkový“ systém něčím, co je blízké obdobnému hodnocení v řadě vyspělých zemí (a tomu, jak se již delší dobu provádí hodnocení v rámci Akademie věd).

Nelíbí se mi, že se mají hodnotit odděleně ústavy Akademie a vysoké školy; věda se přece na obou těchto typech institucí dělá zcela obdobně.

Nelíbí se mi ani to, že má ještě tři roky běžet současný systém každoročního hodnocení a také to, že nový systém bude asi až příliš složitý. Kdyby bylo po mém, jednoduše bych převzal se vším všudy ten nynější, již opravdu dobrý systém, používaný v AV.

prof. Jaroslav Miller

Historik, od roku 2014 rektor Univerzity Palackého v Olomouci.

Obávám se, že na komplexní zhodnocení nové metodiky hodnocení vědy ještě nenastal čas, protože ač vládou schválená, obsahuje dosud celou řadu otazníků, které je nutno odstranit. Například otázka rozdělení vysokých škol do čtyř skupin je klíčová. Není přitom úplně jasné,  podle jakého vzorce bude rozdělení provedeno, jaké bude postavení vysoké školy s jednou excelentní fakultou a dvěma podprůměrnými, bude se hodnotit v takovém případě škola jako celek, či nikoliv? Podobně nevyjasněnou oblastí zůstává hodnocení humanitních věd. Jedná se o závažné záležitosti, u nichž bych přivítal debatu s reprezentacemi VŠ, zakončenou konsensuálním rozhodnutím. Do té doby nejsem schopen k nové metodice zaujmout kvalifikované stanovisko.

prof. David Storch, Ph.D.

Centrum pro teoretická studia UK, pedagog Přírodovědecké fakulty UK.

Má očekávání ohledně nového systému hodnocení výzkumných organizací byla ta nejtemnější, a v tomto ohledu se víceméně naplnila. Nový systém sice nelze moc hodnotit, poněvadž ještě není hotový, ale je zjevné, že bude složitý, neprůhledný a zčásti založený na kritériích, které budou záležet jen na schopnosti a vůli věnovat čas a intelektuální kapacitu slohovým cvičením na téma „jak bude můj výzkum užitečný pro společnost“.

Z návrhu je znát úporná snaha vyhnout se kvantitativním kritériím, která se vyčítala „kafemlejnku“, ovšem podle mého zcela neprávem, a to ze dvou důvodů. Za prvé, „kafemlejnek“ hodnotil docela přísně kvalitu výzkumu (alespoň u přírodovědných oborů) posuzováním impaktu časopisů respektive jejich pořadí (tedy vlastně jejich relativní prestiže). Za druhé, nakonec je třeba stejně získat jakousi kvantitu (tedy dejme tomu bodové ohodnocení), poněvadž jde o rozdělování peněz a peníze jsou kvantitativní. Čistě kvalitativní hodnocení tedy nemá smysl, když je stejně potřebujeme převést na peníze. „Kafemlejnek“ jistě nebyl ideální, ale nelze si dělat iluze, že hodnocení týmem expertů nebo nějakými panely dojde k lepším výsledkům. Zkušenost totiž ukazuje, že jednak je docela těžké najít vskutku kvalifikované posuzovatele (znám to z panelů GAČR a ERC), jednak když už se nějaký sestaví, tak bude stejně tak heterogenní, že se těžko bude moci shodnout na jiných kritériích hodnocení (zcela disparátních a tudíž vlastně neporovnatelných výstupů) než jsou staré známé impakty a prestiž časopisů, která s impaktem úzce koreluje. V nejlepším případě tedy hodnocení vyjdou podobně jako mnohem jednodušší „kafemlejnek“, v horším případě vyjdou jinak, poněvadž panely budou nekompetentní.

prof. RNDr. Radek Zbořil, Ph.D.

Generální ředitel Regionálního centra pokročilých technologií a materiálů při Univerzitě Palackého.

Každá metodika, stará, nebo nová, bude vždy předmětem dohadů a svárů. Logicky nemůže vyhovovat všem. Předložená metodika má ovšem zatím víc nejasností a nedokonalostí, než dobře uchopitelných a snadno aplikovatelných bodů. Prozatím je nepoužitelná. Dotknu se proto systému hodnocení obecně.

Je nezpochybnitelným faktem, že velikostně srovnatelné výzkumné týmy pracující ve stejném oboru vykazují často i řádové rozdíly v kvalitě, mezinárodním ohlasu a významu vědecké práce. To platí pro ústavy AV, stejně jako pro vysoké školy bez ohledu na to, zda se jedná o základní nebo aplikovaný výzkum. Proto, ať už bude metodika hodnocení jakákoliv, musí se její výsledky skutečně reflektovat ve financích alokovaných jednotlivým ústavům.

Jedině tak lze podporovat excelenci na českém vědeckém trhu. Často se zmiňuje, že nová metodika vychází ze systému hodnocení AV. Sluší se ale připomenout, že ekonomické důsledky, tedy změny alokace jednotlivým týmům AV vzešlé z hodnocení, byly zanedbatelné. Takové hodnocení pak stojí zbytečně mnoho peněz a ztrácí smysl. Na řadě vysokých škol se podle platného systému hodnocení peníze skutečně a dlouhodobě přerozdělují často až na fakulty a katedry, které výsledky vyprodukovaly. Tohle motivační prostředí dramaticky povzneslo kvalitu vědecké práce na řadě vysokých škol. Zcela jistě to není jen moje vlastní pozitivní zkušenost na Univerzitě Palackého. Připustíme-li, že nová metodika dozná mnoha změn a nahradí stávající kontroverzní kafemlejnek, musí se podle výsledků peníze především přerozdělit tak, aby se finančně podpořily excelentní skupiny a současně byly identifikovány nejslabší týmy na vysokých školách i ústavech AV, o jejichž další existenci má smysl diskutovat.

prof. Michal Hocek, Ph.D., DSc.

Vedoucí výzkumné skupiny v Ústavu organické chemie a biochemie AV.

Nový systém hodnocení vědy a výzkumu je zatím formulován pouze rámcově a s jeho základními principy lze souhlasit. Tzv. kafemlýnek se už jednoznačně přežil a jeho negativní efekty už začínají převazovat jeho pozitiva. Principy nového hodnocení vycházejí z mezinárodně uznávaných standardů a budou využívat kombinaci peer review a informované scientometrie, různá kritéria pro základní a aplikovaný výzkum a hodnotit zvlášť různé typy institucí; to jsou všechno kroky správným směrem. Ďábel je ale vždycky v detailech provedení. K tomu je zatím těžké se vyjádřit, protože na detailní verzi se ještě pracuje. Nicméně už nyní se rýsují některé velké problémy. Jedním z nich je odbornost hodnocení, která při plánovaných pouhých šesti komisích (např. jedna komise pro celé přírodní vědy) nejspíš nebude dostatečná. Dalším problémem, zejména u vysokých škol, bude hloubka hodnocení. Bude-li hodnocenou jednotkou celá velká univerzita typu UK nebo MU, tak se slabší části buď schovají za silnější, nebo se hodnocení zprůměruje (což je obojí špatně). Problémem nepochybně bude i logistika celého procesu. S hlubší analýzou si budeme muset počkat, dokud nebudou známy detaily hodnocení a jeho harmonogram.

prof. Mgr. Jaroslav ŠEBEK, Ph.D

Historický ústav AV.

Zavedení Metodiky 2017 plus považuji za posun k nalezení kvalitnějšího způsobu hodnocení výsledků výzkumných organizací, zejména z toho důvodu, že se zaměřuje na hodnocení jednotlivých pracovišť jako celku, nikoli pouze mechanické převádění bodů RIV podle kvantitativních hledisek, které však automaticky neznamenají kvalitu produkce. Zohlednění hodnocení institucí jako celku by mohlo vést k prohloubení součinnosti jednotlivých pracovišť dané instituce i prohloubení meziinstitucionální spolupráce obecně, a to jak v domácím, tak mezinárodním měřítku.

Jako sekundární přínos nové metodiky vnímám návrh „zastropovat“ výdaje na vědu a výzkum na stavu roku 2016 a pak na základě výsledků hodnocení navyšovat institucionální finanční prostředky, což by mohlo vést ke stabilizaci vědeckého prostředí v České republice, které by pak nemuselo tolik podléhat změnám politické situace.

Osobně se domnívám, že by mohla nová Metodika v rámci hodnocení aplikovaného výzkumu zohlednit specifika humanitních věd, které netvoří průmyslové patenty, ale mohou přispívat aplikací odborných poznatků k řešení aktuálních společenských problémů a výzev.