Můžeme měřit kvalitu vědecké práce?

Diskusní příspěvky vyvolané článkem Václava Hořejšího Můžeme měřit kvalitu vědecké práce a rozhovorem Vesmíru s Pavlem Hobzou Hodnocení vědy, platová denivelizace a citační index již přesahují 22 normovaných stran strojopisu. V květnovém čísle Vesmíru (Vesmír 79, 246, 2000/5) jsme uveřejnili příspěvek prof. Hynka Burdy z Univerzity v Essenu. Aby se neopakovaly stejné argumenty, zveřejňujeme jen výňatky z diskuse, plné neredigované verze původních příspěvků budou umístěny na webovské stránce Vesmíru, kam umístíme všechny další došlé příspěvky. Za metodicky nejvýznamnější pokládáme příspěvek RNDr. A. Holého. Za pozornost stojí rovněř článek J. Vymětala (Vesmír 79, 335, 2000/6).

IF jako indikátor kvality publikace

[…] Především IF (faktor dopadu) je určitým (ne zcela ideálním) hodnotícím kritériem pro časopis, ovšem nemůže být kritériem pro hodnocení jedné konkrétní práce v tom časopise publikované. Nedávno jsem se dočetl, že 95 % vědeckých publikací není nikdy citováno – na IF se tedy průměrně podílí zhruba 5 % článků (samozřejmě v citovanějších oborech a v lepších časopisech více). IF rozhodně nevyjadřuje „obtížnost publikování“ v daném časopise (jak je uvedeno v článku doc. Hobzy), ale průměrnou míru ohlasu informací publikovaných v tomto časopise v následujících dvou letech (což závisí nejen na kvalitě práce, ale i na sledovanosti a dostupnosti časopisu a ve značné míře i na „módnosti“ dané tematiky). IF samozřejmě v průměru s kvalitou prací koreluje, ale určitě ne přímo úměrně a už vůbec se nedá aplikovat na hodnocení malého vzorku prací. (Asi by nikoho nenapadlo např. vyvozovat z faktu, že Češi vypijí v průměru na jednoho obyvatele nejvíce piva na světě, závěr, že konkrétní pan Novák musí být nutně ochmelka – ale autoři obou článků prosazují stejně nesmyslný princip, totiž aplikaci průměrných hodnot na konkrétní případ!) Jedna konkrétní práce v J. Am. Chem. Soc. totiž může být výrazně méně významná i méně citovaná než jiná konkrétní práce např. v Collect. Czech. Chem. Commun (není výjimkou, že i v tomto časopise jsou práce se stovkami citačních ohlasů), i když v průměru je to samozřejmě naopak (pozn. red.: IF časopisu v roce 1998 byl 0,546). Měřítkem „obtížnosti publikování“ v daném časopise by mohl být spíše jeho „rejection rate“ neboli podíl zamítnutých prací. Hodnoty IF také u některých časopisů značně kolísají a mají velké zpoždění (hodnotí kvalitu před 2–3 lety). Co by přinesla plošná aplikace IF (např. podle vzorce navrženého doc. Hobzou v citovaném článku) pro hodnoceni vědeckých pracovníků? Především by to nutně vedlo k tomu, že by se autoři museli rozhodovat, ve kterém časopise budou publikovat, pouze na základě IF a nikoli na základě vhodnosti tematiky pro daný časopis. Nemohli by si dovolit např. publikovat v nových časopisech (které mají samozřejmě po první 2–3 roky IF = 0), v národních i mezinárodních časopisech vydávaných v ČR (které by zanikly nebo se změnily v „odpadkové koše“ na práce, které by se v jiných časopisech neuplatnily) ale často ani ve specializovaných časopisech, které obvykle mají mnohem nižší IF než časopisy obecnější. Vždy počátkem roku by autoři „číhali“ na zveřejnění nových hodnot IF a i na základě drobných rozdílů by se rozhodovali, do kterého časopisu článek pošlou. Rovněž by to zřejmě vedlo k fragmentaci výsledků do množství krátkých prací, popř. i k duplicitnímu publikování – aby se „kvantitou dohnala kvalita“. Je toto opravdu stav, kterého chceme dosáhnout? […]

[...] scientometrické údaje nejsou škodlivé, pokud se využívají střízlivě. Databáze ISI bude jistě užitečná, i když může vykazovat až čtvrtinovou chybu, ale každopádně pomůže rozlišit mezi citovaností v desítkách či stovkách odkazů. Na druhé straně tato citovanost není v přímé souvislosti s IF časopisu, ale spíše odráží úvahu autora kde publikovat a najít tak vhodný okruh časopisů, nabízejících obdobnou tematiku a možnost seberealizace. Je zřejmé, že citační ohlas je a bude námětem řady kontroverzních článků, ale ve stále pokračujícím exponenciálním nárůstu publikací se scientometrie stane každodenním nástrojem publikační analýzy, a tak se s ní budeme muset smířit, stejně jako jsme se smířili s počítači, než se staly nástrojem každodenního použití.

[...] Podle rozhodnutí vlády a podle směrnic Akademické rady AV ČR musí ústavy AV ČR projít novým hodnocením, jehož součástí jsou povinné scientometrické údaje. Protože jsem k tomuto účelu již mohl použít databázi Institutu vědeckých informací Web of Science, po jejímž zpřístupnění pan doc. P. Hobza volal, využil jsem tuto možnost k tomu, abych si sám pro svůj případ vyhodnotil objektivní spolehlivost takových údajů. Chci teď tedy na základě zcela konkrétních údajů a své osobní zkušenosti upozornit na meze oprávněnosti jejich využívání.

Publikuji dostatečně dlouhou dobu (40 let); citační báze ISI v mém případě zahrnuje období 1964-1999. Pracuji po celý život v jediné, a to mezioborové tematice, v medicinální chemii. Moje publikace jsou proto rozptýleny v časopisech chemických, biochemických a biologických. Nenapsal jsem více než pět nebo šest (<1,5 %) přehledných článků. Téměř všechny mé původní práce jsou experimentální, všechny byly publikovány v impaktovaných mezinárodních časopisech. Počet mých vědeckých prací i citací na ně uvedených v databázi ISI jsou pro statistické vyhodnocení dostatečně vysoké. [...]

Věrohodnost hodnocení citovanosti všech prací za období třiceti let

Parciální databáze (např. chemická báze) jsou pro hodnocení pracovníků srovnáním počtu publikací nebo i jejich citovanosti u mezioborových problematik zcela nepoužitelné. V databázi ISI je po všech opravách uvedena citovanost za pět let pro 259 mých prací (60,7 % z celkového počtu 427 publikovaných od roku 1961), v databázi Medline (která referuje výhradně o pracích v biomedicínských vědách) je registrováno 132 mých prací a konečně databáze světových chemiků, jejíž údaje byly použity v první z citovaných statí ve Vesmíru, jich obsahuje 152 (zjevně pouze z chemických časopisů). Údaje v databázi chemiků jsou zcela zavádějící, odpovídají nejvýše necelým 15 % počtu citací uvedených v ISI, a to při zohlednění pouhých 124 (~29 %) publikací. Ani báze ISI však nepostihuje celou publikační činnost a její výběr periodik je omezený. Nadto zjevně nerozlišuje mezi periodiky a kapitolami v monografiích (viz dále). Lze namítnout, že nemohou být uvedeny práce, které nikdy nebyly citovány - to bohužel není nijak možné objektivně prokázat.

Z nominálního počtu 612 původních prací uvedených pod mým jménem v databázi ISI je však plných 199 (33,5 %) údajů prokazatelně falešných: v menší míře je to shoda jmen, významnější je počet údajů fiktivních (zkomolená čísla, zřejmě patentů, jiné nedešifrovatelné údaje). Nejčastější jsou však mechanicky zavedené chyby z mylných nebo zkomolených citací, duplicity i triplicity jediné práce při špatném uvedení roku nebo zkratky časopisu v citující práci, zavádějící údaje typu unpublished results, in preparation, private communication ap. Často se vyskytují také práce nesprávně přiřazené: zvláště příspěvky na konferencích bývají chybně uvedeny jako práce původní jen proto, že jde o dodatky či zvláštní čísla časopisů. Kvantifikovaný rozbor těchto nepřesností je uveden na webovské stránce.

V bázi ISI se vyskytují vážné nedostatky v důsledku chybného zavedení údajů. Např. jsem ve výstupu nenalezl údaje o své práci z časopisu Science z roku 1976, o které jsem věděl, že byla často citována. Ukázalo se, že při zavádění do báze bylo mé jméno z výčtu autorů jednoduše vypuštěno, ač naše pracoviště - tam je uvedeno správně a také zahraniční autoři jsou tam všichni. Protože jen na tuto práci bylo 152 citací, činí absolutní nepřesnost jen v důsledku této jediné chyby 2 %. Dále chyběly dvě z mých známějších prací z let 1966 a 1967, ač jednu z nich rozhodně v 70. letech pan Garfield uváděl v článku zabývajícím se hodnocením vědy ve východoevropských zemích jako jednu z často citovaných v chemických vědách (Garfield u ní uvádí již za léta 1961-1975 44 citací). Po novém cíleném dohledání těchto dvou prací v původní bázi ISI pak u nich bylo skutečně nalezeno 128, resp. 87 citací. Proč se neobjevily v původním výstupu, není jasné. Výsledná nepřesnost jen na těchto třech konkrétních chybějících údajích je tedy téměř 5 %, při velikosti souboru 7909 citací; lze snadno spočíst, k jak velké nesprávnosti vyhodnocení v takovém případě dojde u autora s menším počtem citací. Odvahu pátrat po tom, zda a proč se ve výstupu neobjevily další práce (viz výše), jsem už neměl.

Spolehlivost údajů za starší hodnocená období bude asi nižší - jinak si nemohu vysvětlit, proč by celkový počet na všechny mé práce jen za posledních 10 let byl 5869 citací (viz dále), ale za 30 let jen 7694. Může to být způsobem zadání. Připouštím, že nespolehlivost tohoto typu se neuplatní u pracovníků mladší generace. [...]

Můžeme shrnout

• Databáze citací ISI poskytuje užitečné kvalitativní informace o citovanosti prací našich autorů. Kvantitativní spolehlivost údajů je však sporná, chyby nejrůznějšího charakteru dosahují až 25 % počtu prací, spolehlivost údajů o počtu citací ve starším období je snížená.


• Nejvyšší spolehlivost v počtu prací i citací je patrně u prací z období nejméně před deseti lety, nízká spolehlivost u prací citovaných před více než 20-25 lety a naopak před méně než 5 lety.


• Databáze citací ISI uvádí výhradně práce, na něž se někdy někdo (včetně autorů samých) odvolával. Pokud by takový údaj byl spolehlivý (moje zkušenosti tomu ale nenasvědčují), mohl by být vztažen na celkový počet prací autora v impaktovaných časopisech. Ten je nutné získat z jiného zdroje, údaje z databáze ISI nelze použít.


• Citovanost prací publikovaných v časopisech s vyšším IF je sice obecně vyšší, platnost tohoto pravidla však není absolutní. I práce zveřejněné v časopise s nižším IF mohou mít solidní ohlas - záleží tedy nejen na časopise.


• Jiné, např. oborové databáze nelze pro individuální scientometrické hodnocení vůbec použít, zejména ne v mezioborových oblastech výzkumu.


• Citovanost práce závisí na oboru její působnosti: biologicky zaměřené práce mají podstatně vyšší citovanost než práce chemické. Biologické práce (většinou) citují jen práce v biologických časopisech, zřídka původní práce chemické. Skutečný dopad práce tedy není bezezbytku vyjádřen ani samotným IF, ani samotnou citovaností. Tyto údaje by musely být korigovány oborovými faktory.


• Databáze citací ISI nepřihlíží k počtu spoluautorů ani autorských pracovišť. Při zachování stejných hodnot parametrů počtu citací na práci a impaktového faktoru musí mít u téhož autora nepochybně jinou váhu práce, kde je autorem jediným, než práce, kde je spoluautorem s deseti dalšími. Zvláště v mezioborových oblastech jsou takové situace časté.


• Databáze nebere ohled na počet autocitací a u větších souborů je téměř vyloučeno příslušnou korekci provést. Autocitace se samozřejmě neomezují jen na pracovníka, který je vyhledáván v databázi, ale musely by se vztahovat rovněž na citace uvedené jednotlivě kýmkoli ze spoluautorů příslušné hodnocené práce.

Na základě svého rozboru rozhodně nepokládám za možné, aby údaje, které lze získat z uvedené databáze ISI, byly používány automaticky při administrativních metodách zpracování podkladů, které by měly sloužit k úřední srovnávací analýze kvality jednotlivců, týmů nebo pracovišť. Na dostatečně velkém vzorku, který jsem zde uvedl, je zřejmé, že systém je zatížen velkými chybami. Korekce uvedených dat sice možná je, ale vyžaduje bezpodmínečně přímou spolupráci s hodnoceným. Tento rozbor nemůže podat žádnou informaci o tom, zda jsou údaje o citovanosti úplné. Doplnění chybějících dat není možné jinak než náhodně.

Bylo by zajímavé, kdyby ti z kolegů, kteří mají dostatečně velký soubor publikačních dat a jejichž práce není tak vyhraněně interdisciplinární jako moje, rovněž provedli obdobnou analýzu svých citačních ohlasů a seznámili s ní veřejnost. Pak bychom mohli objektivně vymezit platnost závěrů, jaké takové parametry vůbec mohou mít význam pro hodnocení práce vědeckých pracovníků a pracovišť v jednotlivých vědních oblastech.