Replikační krize

Z Wikipedie, otevřené encyklopedie
Skočit na navigaci Skočit na vyhledávání

Replikační krize (anglicky: replication crisis) je krize, kdy bylo zjištěno, že mnoho studií napříč několika vědními obory je těžké zopakovat a snaha o dospění k stejným výsledkům končí často neúspěšně. I když právě schopnost zopakovat výsledek z předešlých studií je považován za jednu ze základních složek vědy. Replikační krize je nejčastěji spojována s psychologií a medicínou, objevuje se ale i u ostatních oborů jako ekonomie, biologie, či sociální vědy.[1]

Počátky krize[editovat | editovat zdroj]

Daryl J. Bem[editovat | editovat zdroj]

V psychologii je uváděn za počátek replikační krize rok 2011, kdy Daryl J. Bem provedl experiment, který prokazoval existenci časově obrácené kauzality a tedy, že budoucí události mají kauzální účinek na minulé události. Tato studie byla následně vydána ve vědeckých vlivných časopisech Social Psychology a Journal of Personality, což vyvolalo pochybnosti ve vědecké sféře. Pokus byl poté proveden dalšími nezávislými vědeckými týmy pomocí stejných metod, jak tomu bylo u Bema, avšak s neúspěšným výsledkem. Výsledné replikační studie, popírající tu originální, pak byly vědeckými časopisy odmítnuty včetně časopisů, které Bemovu studii publikovaly. Následkem toho bylo vyvolání pochybností z řad vědců v další publikované studie.[2]

Diederyk Alexander Stapel[editovat | editovat zdroj]

Dalším případem, který vyvolal diskuzi ohledně replikační krize je vědecký podvod nizozemského psychologa Diederyka Stapela. V roce 2011 se ukázalo, že psycholog manipuloval s daty, a to nejméně ve 30 svých publikacích. Velká část jeho kariéry tak byla postavena na pochybných základech. Svým kolegům měl předkládat jím upravené a zkreslené hodnoty, které byly dále analyzovány. K roku 2019 bylo staženo 58 jeho publikací.[3][4]

Příčiny replikační krize[editovat | editovat zdroj]

Publikační zkreslení[editovat | editovat zdroj]

Vědecké časopisy publikují články s významnými závěry, zjištěním a vyvolávají tak tlak na vědce, kteří upravují data tak dlouho dokud nedosáhnou chtěného výsledku, který pak může být publikován. Studie, které dochází k negativním výsledkům, popřípadě samotné replikace studií jsou pak často odmítány a oproti těm pozitivním zaujímají v časopisech jen zlomek.[5]

Velikost zkoumaného vzorku[editovat | editovat zdroj]

Studie, které vycházejí z malého vzorku zkoumaných subjektů mohou mít zkreslené výsledky a může se zde projevit náhoda. Následná replikace je pak obtížná, vychází-li z většího vzorku, který by měl být objektivnější.[6]

Nízká statistická síla[editovat | editovat zdroj]

Statistická síla určuje pravděpodobnost, s kterou studie správně zamítne nulovou hypotézu. Například v neurovědě je publikováno 85 % studií se statisticky významným výsledkem, nicméně průměrná statistická síla těchto studií dosahuje přinejlepším hodnoty 31 %. Pokud by nedocházelo ke zkreslení publikování statisticky významných výsledků, měly by se tyto dvě hodnoty shodovat. Rozdíl mezi těmito hodnotami (85 % a 31 %) je proto indikátorem zkreslení.[5]

Změna stavu[editovat | editovat zdroj]

I když studie provedená v minulosti proběhla v pořádku, studie snažící se o replikaci mohou vykazovat odlišný závěr vlivem změny prostředí, smýšlení lidí, politické situace, času aj.[7]

Vědecký „cheating“[editovat | editovat zdroj]

Cherry picking[editovat | editovat zdroj]

Zatajení, či ignorování některých proměnných, které se podílely na výsledku, nebo zveřejnění jen významných, pozitivních výsledků z velkého počtu realizovaných pokusů.[8][5]

HARKing[editovat | editovat zdroj]

(hypothesizing after the results are known)

Pochybný vědecký postup, kdy hypotéza je vytvořena až poté co jsou známy výsledky. Předchozí hypotéza je mnohdy vynechána, neboť se neslučuje s výsledky testu. Následně je stanovena taková hypotéza, která koresponduje s výsledky práce a činí tak studii úspěšnou, i když prvotní studie chtěla najít zcela jiný efekt. Takovýto postup, kdy otázka je uměle předložena až po znalosti výsledku není v souladu se správným vědeckým postupem. [5][8]

p-hacking[editovat | editovat zdroj]

Zneužití datové analýzy, kdy jsou sbírána data tak dlouho dokud nenastane potřebná hodnota p. Často je tak sbíraný vzorek nižší, než původně výzkumníci zamýšleli. Patří sem i upravování hodnoty p, například zaokrouhlováním (0,054 na 0,05 aj.).[5]

Možná řešení[editovat | editovat zdroj]

V posledních letech (přinejmenším od roku 2011) probíhají mezi vědci a veřejností debaty, jak zabránit publikování těchto pochybných, zkreslených studií a byla navržena možná opatření.[9]

Podpora předběžných registrací[editovat | editovat zdroj]

Jedná se o registraci vědecké studie na oficiálních místech před jejím provedením. Měla by znemožnit zkreslení výsledků, úpravu dat, či HARKing.[10]

Snížení hodnoty p[editovat | editovat zdroj]

Mnoho publikací vyžaduje pro získání statistické významnosti hodnotu p < 0,05. Mnoho vědců navrhuje snížit tuto hodnotu pod 0,005, což by mělo zjednodušit samotnou reprodukovatelnost.[11]

Zařazení replikací do studia[editovat | editovat zdroj]

Studenti by na základě přesných metodologických postupů replikovali původní studie, přičemž by pomohli vědecké komunitě s ověřitelností dosud neověřených prací a získali by praktické zkušenosti. Podobně tomu je například na univerzitě ve Washingtonu.[12]

Přístup časopisů[editovat | editovat zdroj]

Replikace studií by se na poli vědeckých časopisů měli stát standardně publikovanými. Nynější přístup je takový, že replikace jsou vnímány jako nezajímavé, protože buď pouze potvrdí efekt předchozí studie anebo přichází s negativním výsledkem, který není pro časopis tak atraktivní.[13]

Transparentnost dat[editovat | editovat zdroj]

Dalším možným způsobem je sdílení nezpracovaných dat. Data by byla uložena na online úložištích, kde mohou být následně kontrolována, vyhodnocována a přezkoumávána veřejností, či dalšími vědci. Jedním z takových úložišť je například Open Science Framework (osf.io).[14]

Replikační projekty[editovat | editovat zdroj]

Open Science[editovat | editovat zdroj]

V roce 2015 časopis Science zveřejnil článek, který zkoumal reprodukovatelnost experimentů v psychologii. Bylo vybráno 100 studií ze třech psychologických časopisů s cílem dosáhnout stejných výsledků, jak tomu bylo u původních studií. Pouze u 36 % z 97 % originálních studií bylo dosaženo signifikantních výsledků.[15]

Many Labs 1[editovat | editovat zdroj]

Do projektu bylo zapojeno 36 výzkumných týmů z 11 zemí s cílem replikovat zvolených 13 psychologických efektů. Všechny týmy musely striktně dodržovat stanovený postup a kritéria. Výsledek projektu ukázal, že se týmům podařilo úspěšně replikovat 10 z 13 efektů. Ani jednomu z týmu se nepodařilo replikovat zbylé 3 efekty (flag priming, currency priming, imagined contact).[16]

Amy Cuddy – power posing[editovat | editovat zdroj]

V roce 2015 se Eva Ranehill a její tým rozhodli replikovat „postoj síly“, který byl publikován již roku 2010 ve vědeckém časopisu Psychological Science americkou psycholožkou Amy Cuddy. Postoj měl být jakýsi „life-hack“ a umožnit člověku dosáhnout větší síly, přičemž samotný postoj měl ovlivnit i hladinu hormonů v těle. Při replikaci byl vybrán vzorek zhruba pětkrát větší než při původním pokusu. Týmu se nepodařilo dosáhnout původního efektu a shledal tak toto tvrzení jako další z případů, kdy vlivem náhody bylo dosaženo statisticky významného výsledku.[17]

Reference[editovat | editovat zdroj]

  1. PIPER, Kelsey. Science has been in a "replication crisis" for a decade. Have we learned anything?. Vox [online]. 2020-10-14 [cit. 2020-11-29]. Dostupné online. (anglicky) 
  2. R, Dr. Replicability-Index [online]. 2018-01-05 [cit. 2020-11-29]. Dostupné online. (anglicky) 
  3. BHATTACHARJEE, Yudhijit. The Mind of a Con Man (Published 2013). The New York Times. 2013-04-26. Dostupné online [cit. 2020-11-29]. ISSN 0362-4331. (anglicky) 
  4. diederik stapel. Retraction Watch [online]. [cit. 2020-11-29]. Dostupné online. (anglicky) 
  5. a b c d e FIDLER, Fiona; WILCOX, John. Reproducibility of Scientific Results. Příprava vydání Edward N. Zalta. Winter 2018. vyd. [s.l.]: Metaphysics Research Lab, Stanford University Dostupné online. 
  6. The Replication Crisis in Psychology. Noba [online]. [cit. 2020-11-29]. Dostupné online. (anglicky) 
  7. The Replication Crisis in Psychology. Noba [online]. [cit. 2020-11-29]. Dostupné online. (anglicky) 
  8. a b MURPHY, Kevin R.; AGUINIS, Herman. HARKing: How Badly Can Cherry-Picking and Question Trolling Produce Bias in Published Results?. Journal of Business and Psychology. 2019-02-01, roč. 34, čís. 1, s. 1–17. Dostupné online [cit. 2020-11-29]. ISSN 1573-353X. DOI 10.1007/s10869-017-9524-7. (anglicky) 
  9. Replikační krize aneb odvrácená strana vědy – Trefně Ftipně Konkrétně [online]. [cit. 2020-11-29]. Dostupné online. (česky) 
  10. Psychology’s ‘registration revolution’ | Chris Chambers. the Guardian [online]. 2014-05-20 [cit. 2020-11-29]. Dostupné online. (anglicky) 
  11. BENJAMIN, Daniel J.; BERGER, James O.; JOHANNESSON, Magnus. Redefine statistical significance. Nature Human Behaviour. 2018-01, roč. 2, čís. 1, s. 6–10. Dostupné online [cit. 2020-11-29]. ISSN 2397-3374. DOI 10.1038/s41562-017-0189-z. (anglicky) 
  12. MARWICK, Ben; WANG, Li-Ying; ROBINSON, Ryan. How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology. Advances in Archaeological Practice. 2020/02, roč. 8, čís. 1, s. 78–86. Dostupné online [cit. 2020-11-29]. ISSN 2326-3768. DOI 10.1017/aap.2019.38. (anglicky) 
  13. Data a výzkum - SDA Info. dav.soc.cas.cz [online]. [cit. 2020-11-29]. Dostupné online. 
  14. IOANNIDIS, John P. A. Anticipating consequences of sharing raw data and code and of awarding badges for sharing. Journal of Clinical Epidemiology. 2016-02-01, roč. 70, s. 258–260. PMID: 26163123. Dostupné online [cit. 2020-11-29]. ISSN 0895-4356. DOI 10.1016/j.jclinepi.2015.04.015. PMID 26163123. (English) 
  15. (PDF) Estimating the Reproducibility of Psychological Science. ResearchGate [online]. [cit. 2020-11-29]. DOI: 10.1126/science.aac4716. Dostupné online. (anglicky) 
  16. A replication example: The Many Labs Project. Berkeley Initiative for Transparency in the Social Sciences [online]. 2018-05-02 [cit. 2020-11-29]. Dostupné online. (anglicky) 
  17. FUNG, Andrew Gelman, Kaiser. Amy Cuddy’s “Power Pose” Research Is the Latest Example of Scientific Overreach. Slate Magazine [online]. 2016-01-19 [cit. 2020-11-29]. Dostupné online. (anglicky)