Kostlivec nezopakovatelnosti ve skříni vědeckého publikování

Vědecký experiment musí být reprodukovatelný (zopakovatelný), což znamená, že se nejedná pouze o náhodnou událost v jedné laboratoři, a za dodržení uvedeného postupu je možné dosáhnout jeho výsledků v zásadě kdekoli a kdykoli znovu. Vědecké časopisy jsou přesto plné výsledků, které se reprodukovat nedaří. A to je problém, nad nímž bychom měli přestat zavírat oči.

Zejména chceme-li výsledky vědeckého výzkumu aplikovat, třeba ve výrobě strojů nebo vývoji léků, potřebujeme velmi dobře zopakovatelné postupy: není možné, aby brzda automobilu jednou fungovala, jednou ne, aby se lék choval zcela nepredikovatelně atd.

Jednou z priorit moderního vědeckého výzkumu je biomedicínský výzkum, který zkoumá biologické objekty, nejčastěji buňky a jejich součásti, aby dosáhl nových poznatků pro zdokonalení péče o naše zdraví. Např. rozpočet amerických National Institutes of Heatlh (NIH) je asi 30 miliard dolarů ročně a počet financovaných vědců více než 300 tisíc. NIH je přitom vládní organizace, která v USA financuje pouze část biomedicínského výzkumu. Celkové investice (včetně investic ze strany průmyslu) do biomedicínského výzkumu vzrostly mezi lety 2003 až 2007 ze 75,5 miliardy na 101,1 miliardy dolarů (E. R. Dorsey et al. 2010).

Výsledky biomedicínského výzkumu pak bývají publikovány v mnoha desítkách časopisů a podle těchto publikací – prestiže časopisu (tzv. impakt faktor je mírou prestiže daného časopisu) a citovanosti článku – je potom hodnocena vědecká úroveň jednotlivých vědců, týmů a pracovišť. Tedy potřeba publikovat je motivována tím, že bez publikování nelze postavit vědeckou kariéru, získat peníze na výzkum a na platy.

O to větší šok způsobil článek publikovaný v Nature Reviews Drug Discovery v roce 2011 (F. Prinz et al. 2011), v němž německá farmaceutická firma Bayer Healthcare přišla s tvrzením, že z 67 vybraných publikovaných projektů, z nichž 47 patřilo do oblasti onkologie, dokázala plně reprodukovat pouze 25 % (americká farmaceutická firma Amgen došla ve své vlastní evaluaci 53 prací z oblasti hematologie a onkologie k ještě horšímu číslu: 11 % – srv. C. G. Begley & L. M. Ellis 2012).

Zejména překvapivé bylo zjištění, že ani publikace z prestižních časopisů nebo od několika nezávislých skupin nemusejí být reprodukovatelné. Analýza firmy Bayer Healthcare dospěla k závěru, že „reprodukovatelnost publikovaných dat nekoreluje signifikantně s impakt faktorem daného časopisu, s počtem publikací o daném předmětu ani s počtem nezávislých skupin, které autorizovaly danou publikaci.“

Autoři zmiňují některé možné důvody, mezi nimi špatnou statistickou analýzu dat, ale za očividnější důvod považují velký tlak na soutěž mezi laboratořemi a potřebu publikovat svůj výzkum. Kromě toho zmiňují zaujatost pro produkování pozitivních dat, která mají samozřejmě větší šanci dostat se do prestižních časopisů. Tím ovšem může docházet k tomu, argumentují dále, že se množí články dokazující nějakou hypotézu, ačkoli existuje množství experimentální evidence proti ní, která ovšem jakožto negativní výsledek nemá velkou šanci být publikována. A posledním zmiňovaným důvodem pro nízkou reprodukovatelnost vědeckých článků z oblasti biomedicíny je podle autorů zmíněného článku selhávání tzv. peer review, tedy způsobu, kterým jsou články před publikací posuzovány.

Časopis Nature od té doby přišel se sérií článků „Challenges in irreproducible research“ o tom, jak by bylo možno situaci zlepšit. Podle Nature se však jedná o velmi komplexní problém se selháváním různých složek procesu biomedicínského výzkumu a publikace jeho výsledků. Není však pochyb o tom, že tento stav je neudržitelný a že se – podle Nature – netýká pouze onkologického výzkumu.

Je tak možné, že v budoucnosti bude ověřená reprodukovatelnost v nezávislých laboratořích nutnou podmínkou pro publikaci článku v prestižních časopisech a že tak i klesne obrovská nadprodukce dat, která mohou být ve skutečnosti nereprodukovatelná. Podle mého názoru můžeme také na základě odhalení nereprodukovatelnosti velké části biomedicínského výzkumu lépe porozumět tomu, proč ředitel NIH, Francis Collins, označuje v jednom textu pro Nature Reviews Drug Discovery současný stav ve vývoji nových léků „plný frustrace“ (F. Collins 2011). Collins ovšem v onom textu, nazvaném „Těžení terapeutického zlata“, navrhuje mnohem zásadnější změnu než jenom udržení stejného způsobu výzkumu s lepší reprodukovatelností.

Vynikající a účinné léky v minulosti byly totiž objeveny spíše shodou okolností než racionálním výzkumem (výborně to shrnuje kniha M. A. Meyerse Serendipity in Modern Medical Breakthroughs, Arcade Publishing, New York, 2007 – recenze), který systematicky směřuje k nějakému výsledku. Lék může být objeven dokonce proti racionálním očekáváním a bez jasné představy o tom, proč vlastně funguje, příkladem může být moderní lék proti mnohočetnému myelomu bortezomib (A. L. Goldberg 2012).

Collins navrhuje proto blíže zkoumat, zda léky, které už se používají na nějakou diagnózu nebo byly někdy ve vývoji na nějakou diagnózu, nejsou náhodou účinné i v jiných diagnózách. Takové látky lze mnohem rychleji začít testovat na reálných pacientech a poskytnout jim tak účinnou léčbu, i když by třeba nebylo jasné, proč daná léčba vlastně funguje. Příkladem léku, u kterého se již úspěšně podařilo najít novou indikaci, může být nechvalně známý thalidomid, který po skandálních vedlejších účincích na nenarozené děti našel dnes uplatnění v léčbě lepry a mnohočetného myelomu.

Dnešní situace ve vývoji nových léků kvůli četným potížím (např. i díky pozvolnému pádu představy o tom, že účinné léky jsou účinné díky své specifičnosti a že je tedy lze „designovat“, srv. např. M. J. Keiser et al. 2009) tak připomíná období paradigmatické změny, kdy komplexní a unikátní historická situace vede k poptávání zcela nového způsobu pohledu na věc a kdy parametrické změny, jako by bylo např. pouhé vylepšení reprodukovatelnosti vědeckých článků v biomedicíně, nemusejí již skutečným požadavkům doby vyhovovat. A to tím spíše, když uvážíme, že současný model vývoje nových léků v onkologii vede podle některých autorů (T. Fojo & C. Grady 2009) ke stále dražším a stále méně účinným lékům, které neumějí nikoho vskutku vyléčit.