Automation bias

Automation bias je tendence lidí upřednostňovat návrhy automatického systému na podporu rozhodování a ignorovat protichůdné informace pocházející z neautomatického zdroje, a to i když jsou tyto informace správné. Rozhodování v kritických situacích se stále častěji účastní počítačově řízené monitorovací a rozhodovací systémy (například na jednotkách intenzivní péče, v jaderných elektrárnách a kokpitech letadel), proto je zkoumání tohoto zkreslení čím dál častější. Chyby kvůli automation bias se objevují v případech, kdy rozhodování závisí v určitém míře na počítačích nebo jiném automatizovaném pomocníkovi a lidská činnost se zde omezuje pouze na kontrolu probíhajících úkolů. Sklon přehnaně důvěřovat automatické pomoci se obecně nazývá "automation misuse”, tj. nesprávné využití automatizace.

Chyby vyplývající z jednání a chyby vyplývající z nejednání

Automation bias může nabývat formy chyb z nejednání, které nastávají, když automatická zařízení selžou v detekci nebo zobrazení chyby, nebo chyb z (nesprávného či nedostatečného) jednání, které nastanou, když uživatelé následují automatické příkazy bez toho, aniž by vzali v potaz i další zdroj informací.

Chyby vyplývající z nejednání jsou výsledkem snížení kognitivní bdělosti, zatímco chyby vyplývající z jednání jsou kombinací nepřihlédnutí k informaci a nadměrné víry ve spolehlivost automatické pomoci. Nastávají ze tří důvodů: (1) zjevné přesměrování pozornosti od automatické pomůcky; (2) snížená pozornost vůči pomůcce; (3) aktivní ignorování informace, která odporuje doporučení pomůcky. Chyby vyplývající z nejednání se stávají tam, kde člověk nerozpozná chybu automatizace, například když automatická kontrola pravopisu přehlédne chybu, anebo u správného slova nabídne chybnou opravu. Trénink zaměřený na snížení automation bias a příbuzných problémů prokázal nižší míru chyb vyplývajících z jednání, ale ne chyb vyplývajících z nejednání.

Faktory

Přítomnost automatického pomocníka, „zmenšuje pravděpodobnost, že ti, kdo mají rozhodovat, vyvinou takovou kognitivní námahu, aby hledali další informace či zpracovali všechny dostupné informace kognitivně komplexní cestou.” S automatickou pomocí také uživatelé pravděpodobněji vyhodnotí situaci příliš unáhleně, a to obzvláště pokud byli předtím pobídnuti zahájit určitou akci. Podle dvojice psychologů Raje Parasuramana a Dietricha Manzeyho existují tři hlavní faktory, které vedou k automation bias. Prvním je lidská tendence vynakládat co nejmenší kognitivní úsilí při rozhodování. Tato hypotéza se nazývá cognitive miser (tj. kognitivní lakomec). Druhým faktorem je tendence lidí vnímat automatické pomocníky jako obdařenější větší schopností analýzy, než mají oni sami. A za třetí — sklon lidí snižovat svou vlastní námahu při úkolech, které jsou sdílené, a to jak s jinou osobou, anebo s automatickou pomocí. Další činitelé vedoucí k nadměrnému spoléhání se na automatizace, a tak k automation bias, jsou nezkušenost, snížená sebedůvěra ve své vlastní schopnosti, nedostatek snadno dostupných alternativních informací, nebo touha ušetřit si čas a námahu při řešení komplexních úloh nebo během většího pracovního zatížení. Bylo prokázáno, že lidé mající větší důvěru ve své vlastní schopnosti mají menší sklon spoléhat se na automatickou podporu, zatímco ti, kteří obecně více věří automatickým systémům na podporu rozhodování, jsou na ní i více závislí.

Screen design

Studie publikovaná v Journal of the American Medical Informatics Association přišla s tvrzením, že pozice a výraznost rad na obrazovce může ovlivnit pravděpodobnost automation bias, a to tak, že pokud je rada zobrazena výrazně, ať už je správná, či ne, je pravděpodobnější, že jí bude personál následovat. Jiná studie ovšem tuto souvislost nepotvrdila. Podle další studie existuje spojitost mezi větším množstvím zobrazovaných detailů a zvýšením pravděpodobnosti automation bias. Další zdroj pak ukázal, že pokud lidé nesou osobní zodpovědnost za své pracovní výkony, a tudíž i selhání, snižuje se pravděpodobnost automation bias.

Dostupnost

„Dostupnost automatizované pomoci může někdy přispívat k lidskému sklonu jít cestou co nejmenšího kognitivního odporu,” uvádí jedna studie Lindy Skitkové.

Povědomí o probíhajícím procesu

Jedna studie prokázala, že pokud jsou uživatelé obeznámeni s fungováním systémů na podporu rozhodování, je pravděpodobné, že pak adekvátně přizpůsobí míru spolehnutí se na ně, a tím sníží i automation bias.

Skupina vs. jedinec

Práce ve skupině nemusí nutně eliminovat automation bias.

Podle další studie nebyly skupiny pracovníků úspěšnější v detekování chyb u automatizovaných systémů, nežli samostatně pracující jedinci.

Automatické selhání a „naučená bezstarostnost”

Bylo prokázáno, že selhání automatizovaného systému vede k poklesu důvěry u uživatele, která je pak znovu pomalu budována. Tento pokles důvěry po prvním selhání je nazýván first-failure effect (tj. efekt prvního selhání). Pokud jsou tedy automatizovaní pomocníci vysoce spolehliví po celou dobu své práce, je pravděpodobnější, že dojde k automation bias. Této situaci se říká „learned carelessness” (tj. naučená bezstarostnost).

Uvedení míry jistoty systému

V případech, kdy systém uživatelům zobrazuje míru jistoty, pak tato informace může přispět ke zkreslení.

Vnější působení

Čím větší je vnější tlak, který je vyvíjen na jedince a zatěžuje tak jeho kognitivní kapacitu, tím roste jeho závislost na vnější podporu.

Problémy s definicí

Ačkoli je automation bias předmětem mnoha studií, jsou stále slyšet hlasy, které tvrdí, že je jako pojem špatně definovaný a informování o událostech s výskytem automation bias je nesystematické.

Studie zkoumající automation bias mohou být rozděleny na několik různých typů podle úkolů, ke kterým byli automatičtí pomocníci používání, a podle jejich automatizačních funkcí. Úkoly se tak dělí na monitorovací, diagnostické a léčebné. Typem automatické asistence je alerting automation (tj. automatizace výstraha), která sleduje změny a v případě nutnosti uživatele upozorní, decision support (tj. podpora rozhodování), která uživateli poskytuje diagnostiku systému nebo mu udává, nebo implementation automation (tj. automatizace implementace), kde automatická pomoc provádí určitou zadanou úlohu. Zobecňování efektu automation bias může vést k nežádoucímu podrytí důvěry v automatizované pomocníky a oslabit vývoj v odvětví.

Automation-induced complacency

Myšlenka automation bias může být částečně zaměňována za automation-induced complacency, tj. automatizací vyvolaná nevšímavost, nebo také jednoduše automation complacency. Stejně tak jako u automation bias se jedná o následek nesprávného použití automatizace a je částečně zaviněna nedostatečnou pozorností. Zatímco u automation bias lze hovořit o sklonu lidí důvěřovat systémům na podporu rozhodování, u automation complacency je možné vidět nedostatečnou pozornost a sledování výstupů automatizace, neboť jsou výstupy považovány za spolehlivé. Automation complacency je definována jako „zhoršená detekce systémových chyb ve srovnání s manuální kontrolou chyb.” Aviation Safety Reporting System (ASRS) při NASA definuje complacency jako spokojenost se sebou samým, která může vést k neostražitosti založené na neoprávněném předpokladu uspokojivého stavu systému. Několik studií naznačilo, že se tak děje častěji, pokud se musí operátoři věnovat ve stejný čas jak manuálním, tak automatizovaným úkolům. Complacency může být zredukována, pokud se spolehlivost automatizace v čase mění, namísto aby zůstávala stále stejná, naopak nemůže být minimalizována zkušeností ani praxí. Expertní i laičtí účastníci studií prokazují tíhnutí jak k automation bias, tak k automation complacency. Ani jeden z těchto problémů se nemůže jednoduše řešit tréninkem. Termín "automation complacency" byl poprvé užit v souvislosti s leteckými nehodami nebo případy, ve kterých piloti či kontroloři leteckého provozu nedostatečně kontrolovali systémy v domnění, že je vše v pořádku, zatímco opak byl pravdou. Operator complacency, ať už spojená s automatizací, či nikoli, je již dlouho považována za hlavní faktor v leteckých nehodách.

Do jisté míry complacency umenšuje výhody automatizace, a pokud míra spolehlivosti automatického systému klesne pod jistou hranici, nepřináší automatizace již žádný užitek. Studie z roku 2007 tvrdí, že tato hranice leží přibližně na 70 % míry spolehlivosti. Další studie zjistily, že automatizace s mírou spolehlivosti pod 70 % může být používána uživateli, kteří mají zároveň přístup ke zdrojovým datům, což může zlepšit celkový výsledek.

Odvětví

Automation bias je zkoumán v různých vědeckých odvětvích. Jeho výskyt může mít závažné důsledky například v letectví, medicíně či vojenských operacích.

Reference

V tomto článku byl použit překlad textu z článku Automation bias na anglické Wikipedii.