Různé čtení stejných dat

„Data nelžou,“ praví tradovaná poučka. Platí s výjimkou případů, kdy data lžou (vzorek byl kontaminován, přístroj špatně kalibrován, kolega si ulehčil práci drobným podvůdkem…). Sběrem dat navíc práce nekončí, diskuse se vedou až nad jejich interpretací. A v ní se otevírá další široký prostor pro vědomá i nevědomá pochybení, předpojatosti a zkreslení.

Názorně to ilustruje tým vedený berlínským psychologem Martinem Schweinsbergem. Oslovil psychology z různých institucí a všem poskytl totožný soubor dat: téměř 8000 komentářů (obsahujících 3,9 milionu slov) stažených z diskusí na serveru Edge.org. Účastníci experimentu na nich měli ověřit dvě hypotézy: že diskutéři s vyšším profesním statusem jsou v diskusích výřečnější než jejich méně vážení kolegové a že ženy se do diskuse zapojují tím více, čím více žen se jí už účastní.

Nejen výsledky, ale i použité metody všichni účastníci sdíleli na webu DataExplained. net. Po vyřazení špatně zdokumentovaných analýz zůstalo 29 výsledků, mezi nimiž byly obrovské rozdíly. Ve 29 % případů vyšlo, že diskutéři s vyšším statusem diskutují obsáhleji, 21 % analýz ale dospělo k opačnému výsledku a zbytek nenašel žádný významný rozdíl. Podle 64 % analýz se potvrdila hypotéza o vlivu počtu žen na ochotu další ženy vstoupit do diskuse, 21 % ale ukázalo na opačnou korelaci a 15 % nezaznamenalo rozdíl.

Příčina rozdílů tkví v různých definicích (např. profesní status někdo určoval pracovní pozicí, někdo počtem citací nebo výší h-indexu), v použitých metodách (někdo počítal slova, někdo znaky, další celé příspěvky bez ohledu na jejich rozsah), roli hrály i použité statistické techniky.

V některých oborech je interpretace dat jistě méně divoká než ve volně definovaném psychologickém experimentu, ale prostor pro rozdíly je všude. I to je jistě jeden z důvodů, proč se mnohé studie (včetně zásadních výzkumů v medicíně) nedaří replikovat.¹⁾

Schweinsberg M. et al.: Organ. Behav. Hum. Decis. Process., 2021, DOI: 10.1016/j.obhdp.2021.02.003