Aktuální číslo:

2017/12

Téma měsíce:

Kontakty

Můžeme měřit kvalitu vědecké práce?

Jak daňový poplatník či štědrý mecenáš pozná, jestli vědec kvalitně pracuje, nebo jen umně využívá toho, že běžný smrtelník jeho oboru nerozumí?
 |  5. 2. 2000
 |  Vesmír 79, 83, 2000/2

S určením kvality aplikovaného výzkumu by neměly být potíže – pozná se prostě podle toho, jestli se z něj nakonec zrodí nějaký komerčně úspěšný nový výrobek či technologie. Klasickými příklady jsou třeba gelové kontaktní čočky, nová léčiva nebo bakterie požírající znečišťující ropné látky. Cílem základního výzkumu je dovědět se něco nového o přírodě, vyřešit nějakou záhadu, a to často bez ohledu na přímé praktické využití takových objevů. Jak daňový poplatník nebo štědrý mecenáš pozná, jestli vědec placený z jeho peněz poctivě pracuje a objevuje něco důležitého či si spíše jen nezávazně „hraje“ pro své potěšení, nebo snad dokonce práci jen umně předstírá a využívá toho, že jeho oboru běžný smrtelník nerozumí? Konkrétním „výstupem“ základního výzkumu jsou hlavně publikace, v nichž vědci odborné veřejnosti sdělují, co a jakým způsobem objevili. V posledních zhruba 50 letech se ve většině přírodovědeckých oborů vyvinul způsob, jak vědecká komunita oceňuje hodnotu a kvalitu publikací. Je založen na celkem nesporném faktu, že více badatelů si všimne důležitých výsledků než nedůležitých či nezajímavých. Uznáním některé práce za aspoň hodnou povšimnutí je, když ji další vědec ve svých publikacích „cituje“, tj. zmíní nějaký výsledek s odkazem na původní publikaci. Čím důležitější je určitá vědecká práce, tím častěji je v daném oboru zpravidla citována. Kvalitu a důležitost vědeckých prací lze tedy alespoň přibližně posuzovat či měřit jejich citovaností. 1) Na zhodnocení citačního ohlasu je ovšem třeba počkat řadu let, a proto se často používá náhradní kritérium. Tím je tzv. impaktový faktor časopisu (IF; „faktor dopadu“), v němž byla práce přijata k publikaci. Hodnota IF v zásadě udává, kolikrát je článek publikovaný v určitém časopisu průměrně citován během prvních dvou let. 2) IF je tedy jakýmsi odhadem příští pravděpodobné citovanosti. Abychom uvedli příklad z biochemie, molekulární a buněčné biologie: IF „hvězdného“ časopisu Cell je zhruba 40, u velmi solidního Journal of Biological Chemistry má IF hodnotu zhruba 7, kdežto časopis Folia Biologica má IF přibližně 0,5. V rámci daného oboru lze tedy docela dobře zhodnotit, jak je určitý vědec, výzkumný tým nebo výzkumný ústav produktivní ve srovnání s jinými: sečtou se prostě impaktové faktory jejich publikací za určité období a vzájemně se porovnají. Anebo ještě lépe, spočítají se skutečné citace prací srovnávaných autorů za posledních x let. 3) Údaje o citovanosti jsou běžně vyžadovány při posuzování kandidátů na vysoké vědecko-pedagogické tituly, při konkurzech na významná vědecko-administrativní místa a často i při žádostech o granty.

Samozřejmě, jsou zde všelijaké problémy: Vědecké práce mají zpravidla více, někdy dokonce i mnoho autorů. Patří ty „impaktové body“ každému z nich v plné výši, či spíše každému přísluší jen určitý podíl? A jak odlišit to, že některý z autorů vykonal většinu popisované práce, zatímco jiní přispěli jen okrajově? Teoreticky by se mohlo stát, že nějaká práce bude hodně citována v „negativním“ smyslu, tj. proto, že ostatní ji budou vyvracet jako chybnou. Naopak je možné, že nějaká geniální práce natolik předběhne svoji dobu, že její význam ostatní nepochopí, a tudíž ji nebudou citovat (nebo dokonce ani nebude přijata do tisku). A právě na základě těchto problémů někteří zpochybňují význam impaktových faktorů či citací jako kritéria kvality vědecké práce. Jsou i tací, kteří říkají, že pro opravdového vědce je nedůstojné honit se za nějakými publikacemi, citacemi nebo impaktovými faktory – nejdůležitější je prý „vnitřní kvalita“ vědecké práce, kterou jaksi intuitivně poznají nejlépe odborní kolegové. Často můžeme slyšet i výmluvy, že kvalitní mezinárodní časopisy nadržují při přijímání publikací vědcům z některých zemí nebo institucí a že diskriminují „outsidery“. Je tomu opravdu tak? Je „scientometrie“ pokoušející se měřit kvalitu a produktivitu vědců pomocí citací a impaktových faktorů scestná a zavádějící? Jsem přesvědčen, že nikoli a že citační parametry naopak skutečně vypovídají o něčem velmi důležitém. Bylo by samozřejmě nesmyslné vyvozovat nějaké důsledky z toho, že někdo nasbíral za své práce 500 citací, zatímco jiný „jen“ 400. Ale pokud má někdo těch citací 1000 a jiný ve stejném oboru jen 20, téměř jistě to signalizuje velký rozdíl v kvalitě a produktivitě. Stejný závěr můžeme udělat i pokud někdo publikuje většinou v mezinárodních časopisech s vysokým IF, kdežto jiný téměř výhradně v lokálních žurnálech s IF blízkým nule. Samozřejmě nechci tvrdit, že při tomto způsobu „objektivního“ hodnocení kvality a produktivity vědecké práce nemohou nastat nesrovnalosti nebo že tento systém nemůže být do určité míry zneužíván. K tomu může dojít několika způsoby:

  • Vysokých citačních a impaktových hodnot mohou např. dosáhnout lidé, kteří jsou na dobré práce z nějakých důvodů víceméně „připisováni“, aniž by jejich tvůrčí podíl byl významný. Například někteří „velcí šéfové“, kteří si spoluautorství vynucují na svých podřízených, či badatelé, kteří „opravdovým“ autorům poskytli nějakou vlastní unikátní reagencii (protilátku, klon cDNA nebo třeba buněčnou linii) za to, že budou uvedeni jako spoluautoři.
  • Vyšší citovanosti lze docílit zapojením do nějakého „citačního bratrstva“ – je totiž poměrně časté, že lidé preferenčně citují spíše výsledky ze spřátelené laboratoře než práce neoblíbeného konkurenta. Je ovšem prakticky vyloučeno, aby někdo, kdo nemá zajímavé výsledky, byl vysoce citován svými kamarády jen na základě jakéhosi komplotu.
  • Uměle lze zvýšit počet svých citací také autocitacemi. 4)
  • Až nepřiměřeně vysokých citačních hodnot mohou někdy dosáhnout metodické práce, které jsou často citovány jaksi automaticky. Podobnou námitku lze někdy uplatnit vůči vysoké citovanosti přehledných článků, které mnozí považují za méně závažné než původní experimentální práce.5)

Mnohem důslednější, a hlavně mnohem veřejnější hodnocení našich vědců, týmů a institucí podle scientometrických parametrů by velmi pomohlo tomu, abychom si konečně udělali objektivnější obrázek o tom, „kdo je kdo“ v naší vědě a jak jsme vlastně na tom v mezinárodním srovnání. Řada českých slovutných profesorů, kteří jsou vahou svých titulů, zastávaných pozic v akademických institucích a dávno minulých zásluh považováni veřejností za naše přední vědce, se sice pyšní dlouhými seznamy svých publikací, ale při bližším ohledání zjistíme, že 90 % z nich jsou nevýznamná abstrakta z nějakých konferencí nebo články v lokálních žurnálech typu „Časopis lékařů českých“ a že v nich prakticky vůbec nenajdeme plnohodnotné vědecké publikace v důležitých mezinárodních časopisech. Naproti tomu u nás existují mladí badatelé, kteří se vrátili z několikaletých postdoktorandských pobytů v zahraničí a mají seznamy vysoce citovaných publikací, za které by se nemuseli stydět, ani kdyby se ucházeli o místo na nějaké dobré americké univerzitě. Čas od času se stane, že i z českého vědeckého pracoviště vzejde významná publikace ve velmi prestižním mezinárodním časopisu, jako je třeba britský Nature nebo americký Science. Širší česká vědecká komunita, natož veřejnost, se to ale skoro ani nedozví – takovému opravdovému úspěchu se nevytváří žádná speciální publicita. Na mnohých českých univerzitách stále ještě panuje názor, že důležitý je počet publikací a ne jejich kvalita (měřená impaktovým faktorem časopisu), takže při rozdílení odměn za vědeckou činnost pak je na tom paradoxně lépe ten, kdo má pět článků v obskurních lokálních žurnálech a deset abstrakt z konferencí, než ten, kdo má dva články v opravdu významných mezinárodních časopisech s vysokým impaktovým faktorem.

Je jasné, že pro naši vědu jsou nepostradatelní i ti, kteří sice mnoho původních vědeckých prací nepublikují, ale zato umějí vědu brilantně popularizovat, jsou skvělými vysokoškolskými pedagogy nebo klinickými praktiky. Avšak neměli bychom zapomínat, co je ve vědě přece jen to hlavní: vědec není jen ten, kdo toho o svém oboru hodně ví, ale především ten, kdo objevuje něco zcela nového o přírodě.

Naší vědě by asi velmi prospělo, kdyby se pravidelně, třeba jednou za 2–3 roky, zveřejňovaly seznamy dejme tomu 50–100 nejcitovanějších českých chemiků, fyziků, molekulárních a buněčných biologů a seznamy nejvýznamnějších (z hlediska citovanosti a prestižnosti časopisu) publikací, jejichž autory byli čeští vědci. Zajímavé by bylo i občasné porovnání, jak jsou na tom nejcitovanější čeští autoři ve světovém srovnání.

Samozřejmě nelze brát příliš vážně absolutní „umístění“ v tomto žebříčku, ale to, že někdo je mezi deseti nejcitovanějšími českými chemiky, téměř jistě ukazuje, že patří k naší elitě. Možné zkreslení způsobené nějakými nekalými rysy citačního systému (negativní citace, citační bratrstva, autocitace apod.) je asi dost zanedbatelné a projevuje se možná spíše někde v nižších patrech citačních žebříčků, kde několik málo „nečestně“ získaných bodů může podstatně ovlivnit celkový počet. Je sice nesporné, že posuzování kvality a produktivity podle citačních parametrů má své „mouchy“, ale je to jediný aspoň trochu objektivní systém, protože je založen na posouzení kolegů z oboru (recenzentů článků, těch, kteří práci citují). Je určitě lepší než systém založený hlavně na schopnosti „udělat dojem“ a umět šikovně prodávat i zboží nevalné kvality. Ti, kteří před používáním citací a impaktových faktorů varují, protože se obávají možnosti zneužití nebo ovlivnění atypickými výjimkami, mi připomínají člověka, který by vzhledem k občasným nehodám odmítal používat auto nebo letadlo.

Zveřejňování (s velkou publicitou) citačních a publikačních úspěchů by mohlo být zvláště pro úspěšné mladé vědce důležitým veřejným oceněním jejich práce. Ti, kteří umějí dobře popularizovat nebo mají talent k vědecko-organizační práci, si svůj spravedlivý díl ocenění již dávno získávají; bylo by nanejvýš spravedlivé, kdyby se patřičného ocenění dostalo i těm, kteří sice nejsou tak „viditelní“, ale zato poctivě dělají ve vědě to nejpodstatnější – objevují nové věci, které posunují poznání přírody stále dopředu.

Poznámky

1) Je ovšem velmi důležité, že citační zvyklosti se v různých oborech dost výrazně liší – ve „velkých“ oborech jsou důležité výsledky citovány během několika málo let třeba několiksetkrát, zatímco v oborech, v nichž pracuje jen málo badatelů, může i práce základního významu získat řádově méně citací.
2) Může se samozřejmě stát, že i do kvalitního časopisu s vysokým IF se dostane slabší publikace, která je pak málo citována.
3) Zjišťování počtu citací nebo hodnot IF pro různé časopisy je celkem snadné – databáze těchto údajů produkuje Institute for Scientific Informations (ISI) ve Filadelfii a naše největší knihovny je mají a průběžně je doplňují (viz Jiráková V., Pitterová K., Science Citation Index, Vesmír 74, 612,1995/11).
4) Určitý počet autocitací je normální, neboť autoři obvykle oprávněně odkazují na některé své dřívější práce. V celkovém počtu citací představují obvykle asi tak 20–30 %, jsou však i jedinci, u nichž tvoří třeba až 90 % z celkového počtu. Ve „správných“ seznamech citací by se autocitace měly vymýtit, ale z technických důvodů je to někdy trochu pracné a nedá se to udělat automaticky (J. Nováka může citovat úplně jiný J. Novák).
5) Na druhé straně věda stojí do značné míry na metodách, a tak možná na vysoké citovanosti takových prací není nic tak špatného (i když třeba intuitivně cítíme, že práce popisující novou modifikaci jednoduché analytické metody není tak „důležitá“ jako například objev nového onkogenu).

Ke stažení

OBORY A KLÍČOVÁ SLOVA: Věda a společnost

O autorovi

Václav Hořejší

Prof. RNDr. Václav Hořejší, CSc., (*1949) vystudoval Přírodovědeckou fakultu UK v Praze. V Ústavu molekulární genetiky AV ČR, v. v. i., který od roku 2005 řídí a kde je vedoucím oddělení molekulární imunologie, se zabývá povrchovými a signalizačními molekulami buněk imunitního systému. Přednáší imunologii na Přírodovědecké fakultě UK v Praze.
Hořejší Václav

Doporučujeme

Tajemná „Boží země“ Punt

Tajemná „Boží země“ Punt uzamčeno

Břetislav Vachala  |  4. 12. 2017
Mnoho vzácného zboží starověkého Egypta pocházelo z tajemného Puntu, kam Egypťané pořádali časté obchodní výpravy. Odkud jejich expedice...
Hmyz jako dokonalý létací stroj

Hmyz jako dokonalý létací stroj

Rudolf Dvořák  |  4. 12. 2017
Hmyz patří k nejdokonalejším a nejstarším letcům naší planety. Jeho letové schopnosti se vyvíjely přes 300 milionů let a předčí dovednosti všech...
Hranice svobody

Hranice svobody uzamčeno

Stefan Segi  |  4. 12. 2017
Podle listiny základních práv a svobod, která je integrovaná i v Ústavě ČR, jsou „svoboda projevu a právo na informace zaručeny“ a „cenzura je...

Předplatným pomůžete zajistit budoucnost Vesmíru

Tištěná i elektronická
verze časopisu
Digitální archiv
od roku 1994
Speciální nabídka
pro školy a studenty

 

Objednat předplatné