Jak na šprty

„To, co chceme“, nemůžeme většinou měřit přímo a jsme odkázáni na zástupné proměnné, které by mohly s „tím, co chceme“, rozumně korelovat. A tak sledujeme místo blahobytu hrubý domácí produkt a místo úžasnosti počet lajků. Bohužel. Goodhartovo pravidlo totiž praví, že jakmile se samo měřítko kvality stane cílem, přestane být dobrým měřítkem kvality.

Kresba Vladimír Renčín

Nejedná se o zvláštnost lidské psychologie; odborníci na strojové učení znají ten problém velmi dobře. Virtuální lodička, která se učí maximalizovat dosažené skóre v závodní hře, projíždí po dvou hodinách dráhu jako dobrý lidský hráč. Po deseti hodinách už však neprojíždí kanál vůbec. V jedné ze zatáček naráží do břehu, sbírá nedaleké lékárničky, jejichž využití přidává nezanedbatelný počet bodů, opět bourá, opět hoří, opět se léčí, opět bourá…, dokud závod neskončí. A skutečně skončí s lepším výsledkem než poctivé závodnice! Všude je to stejné: Zpočátku je nejefektivnější zvyšovat počet bodů příklonem ke všem hodnotám, které skóre odráží. Záhy se však ukáže, že tápat několika směry naráz je nemožné, že je to BUĎ vyšší skóre, ANEBO udržování standardů rezonujících se smyslem jeho zavedení.

Méně škody tedy obvykle napáchají měřítka netransparentní až obskurní, u nichž je těžké identifikovat nekalé „zkratky“ k jejich maximalizaci.

Tak třeba indexy kvality vědeckých žurnálů: Vysoký Impact Factor (IF), jehož definice („průměrný roční počet citací článků publikovaných v posledních dvou letech“) se vejde do deseti slov, má i řada časopisů, které nebere nikdo vážně. Stačí, že se jejich editoři neštítí v rámci recenzního řízení doporučovat k ocitování „ještě tento článek, který vyšel v našem žurnálu loni“. Article Influence Score (AIS), jehož popis vydá na samostatný vědecký článek, seřadí zdroje podobně jako zkušený vědec. (Jedná se o odvozeninu ještě jiného měřítka, tzv. Eigenfactor Score, které pracuje se vzájemnými citacemi mezi časopisy jako s jakousi „sociální sítí“, v rámci níž si periodika posílají „důvěru“.) Není divu, že (nejen) naše fakulta rozděluje část peněz mezi katedry na základě AIS, a ne IF.