Wikipedista:Katykolar/Pískoviště

Předregistrace a registered report

Předregistrace (anglicky preregistration) a registrované zprávy (anglicky registered report) jsou poměrně nové praktiky v akademickém a vědeckém výzkumu, které napomáhají ke zvyšování transparentnosti a důvěryhodnosti výsledků výzkumu. Taktéž přispívají k omezení některých typů kognitivního zkreslení (např. hindsight bias) nebo nepoctivých praktik ve výzkumu, zejména p-hacking a HARKing, které jsou označovány jako dva ze čtyř jezdců replikační krize, ale také selektivní reportování. Předregistrace a registrované zprávy jsou proto důležitými nástroji otevřené vědy, což je hnutí usilující právě o zvýšení reprodukovatelnosti, spolehlivosti a důvěry ve vědecké poznatky.

Předregistrace

Odznak, který uděluje platforma Open Science Framework (OSF), prokazující, že studie byla předregistrována.

Předregistrace je proces, během kterého dojde k upřesnění klíčových detailů studie, analýzy a rozhodnutí před provedením experimentu. Hlavním cílem předregistrace je tedy usnadnit čtenářům i samotným výzkumníkům rozlišení mezi dvěma vzájemně se doplňujícími, ale oddělenými fázemi vědeckého zkoumání: fází vytváření hypotéz (tj. explorativním výzkumem) a fází testování hypotéz (tj. konfirmačním výzkumem). V procesu předregistrace vytvářejí výzkumníci časově označený záznam o svých hypotézách, postojích a plánech analýzy dat. Tento záznam výzkumníky přímo nezavazuje k budoucím rozhodnutím, ale významně přispívá k objasnění klíčového rozdílu mezi predikcí, tedy formulací hypotéz před sběrem dat, a postdikcí, kdy jsou hypotézy vytvářeny až po shromáždění dat. Předregistrace umožňuje, aby se kolegové-výzkumníci mohli vyjadřovat a poskytovat zpětnou vazbu k výzkumu online ještě před jeho realizací. Dále umožňuje editorům časopisů podmíněně přijímat články výzkumníků bez ohledu na samotné výsledky studie.

Předregistraci je možné provést ve třech fázích výzkumu, a to:

• těsně před sběrem dat
• poté, co byl výzkumník v rámci peer review požádán o sběr dalších dat
• před zahájením analýzy již existujícího datasetu.

Předregistrace spočívá v tom, že výzkumník ještě před samotným sběrem dat či analýzou stanoví:

• hypotézy nebo výzkumné otázky, tzn. co konkrétně chce testovat a co očekává za výsledky,
• metodologii, tzn. jak bude data sbírat, jaké nástroje k tomu použije, plán velikosti vzorku, klíčové proměnné a způsob jejich měření, experimentální podmínky, kritéria pro vyloučení/zařazení,
• analytický plán, tzn. co přesně bude v datech hledat (např. specifické statistické testy, metriky apod.).

Zveřejnění předregistrace se provede prostřednictvím k tomu určených registračních platforem, např. OSF Preregistration, AsPredicted nebo PreclinicalTrials.eu. Tím dojde k vytvoření trvalého a neměnného záznamu o plánované studii. Registr uchovává předregistraci a zajišťuje, že je snadno dohledatelná, tedy je možné ji například anonymně sdílet s recenzenty. Některé registry umožňují zveřejnění předregistrace až po uplynutí určitého časového embarga, které může trvat až 4 roky.

Předregistrace nemusí být vhodné pro každý typ výzkumu či vědní oblast. Může ale být zvláště prospěšná v kvantitativním výzkumu, kde se provádí statistické analýzy. Je hojně využívána v oblastech jako jsou psychologie nebo preklinické studie, kde transparentnost a předvídatelnost výsledků hrají klíčovou roli.

V článku The preregistration revolution jsou popsány různé překážky, s nimiž se výzkumníci setkávají při předregistraci, a jejich možná řešení. Předregistrace výzkumu totiž neznamená, že se v něm nesmí provádět žádné změny, generovat nové hypotézy nebo zkoušet jiné statistické metody. Odchylky od plánů sběru dat a analýzy jsou běžné, i v těch nejpředvídatelnějších výzkumech. Plány se mohou změnit kvůli neočekávaným okolnostem, jako je např. nedostatek účastníků. Pokud se ale postupy odchýlí od předem zaregistrovaného plánu, měl by výzkumník tyto rozdíly uvést a přiznat, že testy hypotéz nemusí být skutečně apriorní. Recenzenti a čtenáři pak mohou informovaně posoudit vhodnost daných odchylek od plánu. Transparentní dokumentace těchto změn totiž pomáhá udržet důvěryhodnost studie.

Registered report

Fáze peer review a publikování registered reports

Registered reports (česky překládáno jako registrované zprávy) jsou publikačním formátem, který byl v současné podobě představen roku 2012 (časopisy Cortex a Perspectives on Psychological Science) a který klade důraz na důležitost výzkumné otázky a kvalitu metodologie tím, že propojují předregistraci s peer-review procesem již ve fázi plánování studie. Jedná se tedy o vědecký článek, který je recenzovaný ve dvou fázích. Hlavními cíli registered reports je odstranění řady pochybných výzkumných postupů, včetně nízké statistické síly, selektivního vykazování výsledků a publikačního zkreslení (tj. tendenci vydavatelů publikovat pouze statisticky významné pozitivní výsledky), a zároveň umožňuje naprostou flexibilitu při vykazování náhodných zjištění. Formát také umožňuje recenzentům přispět ke zlepšení metod tím, že mimo jiné navrhují vhodnější statistické modely a podporují použití studií s vyšší statistickou silou.

Formát registered reports v současnosti nabízí přibližně 300 časopisů, takže všichni velcí vydavatelé mají alespoň jeden časopis, který tento formát akceptuje.

První fáze peer review

V první fázi výzkumníci ještě před samotným sběrem dat (nebo nahlédnutím do dat, pokud jsou data již k dispozici) předkládají rukopis, který je velmi podobný první polovině typického vědeckého článku. Obsahuje kapitoly, ve kterých autoři představí výzkumnou otázku či otázky, teorii, hypotézy, podrobné metody a plány analýzy, případně výsledky pilotních experimentů, které jsou podkladem pro návrh výzkumu, které zašlou do časopisu k recenznímu řízení. Editoři a recenzenti podrobně posuzují rukopisy na základě metodologické kvality a schopnosti řešit výzkumné otázky; tzn. jestli je výzkumná otázka důležitá a relevantní a zda je navržená metodologie vhodná k zodpovězení dané otázky. Na rozdíl od tradičního recenzního řízení mohou v tomto případě recenzenti poskytovat návrhy ke změnám s dostatečným předstihem na to, aby mohli významně ovlivnit strukturu a návrh studie.

Pokud jsou návrhy kladně posouzeny, obdrží jejich autoři od časopisu tzv. in-principle acceptance (IPA), kterým se časopis zavazuje k publikování konečného článku bez ohledu na to, jestli jsou výsledky nulové, negativní, pozitivní nebo překvapivé, ovšem pouze za předpokladu, že autoři dodrží svůj schválený protokol a interpretují výsledky v souladu s důkazy. Po IPA jsou autoři typicky vyzváni, aby provedli předregistraci schváleného protokolu v registru, a to buď veřejně, nebo pod dočasným embargem.

Druhá fáze peer review

Výzkumníci provedou výzkum schváleným způsobem a po jeho dokončení posílají finální rukopis do časopisu ke druhému recenznímu řízení. Finální článek tedy obsahuje úvod a metodiku z již schváleného protokolu fáze 1, a navíc výsledky a diskusi. Mohou v něm být zahrnuty také analýzy, které nebyly součástí předregistrace, avšak je důležité, aby byly tyto analýzy zřetelně označeny jako post hoc analýzy (tj. zjištění z konfirmačních i exploračních analýz). Recenzenti z fáze 1 a/nebo nově přizvaní recenzenti poté posoudí dokončený rukopis fáze 2 a zaměří se na to, zda se autoři drželi schválené metodologie a jestli interpretace výsledků dávají smysl.

Autorům se rovněž doporučuje nebo povinni sdílet svá data ve veřejném a volně přístupném repozitáři (např. OSF, Figshare, Zenodo), a doporučuje se sdílet i skripty pro analýzu dat.

Zásadní pro registered reports je, že recenzenti znovu nepřezkoumávají teorii, hypotézy ani metody, čímž zabraňují tomu, aby znalost výsledků ovlivnila doporučení. Editoři také nemohou odmítnout rukopis na základě nových pochybností týkajících se metodologie nebo odůvodnění, ani na základě samotných výsledků.

Předregistrace a registered reports v české vědě

Předregistrace a registrované zprávy jsou uvedeny v Příručce postupů otevřené vědy pro výzvy českého poskytovatele financí Operační Program Jan Amos Komenský (OP JAK), kde jsou zařazeny mezi doporučené postupy otevřené vědy.

Dle definice druhu výsledků v metodice M17+ spadají registered reports do kategorie J – recenzovaný odborný článek.