Řídit auto na silnicích Papuy-Nové Guiney je očistec. A když někoho přejedete, koledujete si o rozpoutání kmenové války. Jednu takovou historku, která jen se štěstím neskončila katastrofou, popsal ornitolog a spisovatel Jared Diamond.
Všechno to začalo, když muž jménem Malo přejel a zabil příslušníka cizího kmene -desetiletého Billyho. Mohl za to chlapec, ale Malo stejně (velmi rozumně) ujel, aby ho příbuzní mrtvého nezlynčovali. Příštích pár měsíců se skrýval na území svého kmene a vyjednávání nechal na svém zaměstnavateli a vzdáleném příbuzném Gideonovi. Toho, k jeho naprosté hrůze, hned nazítří navštívil Billyho otec se dvěma dalšími muži. Naštěstí si nepřišli pro pomstu, ale jen pro „sori money“, jak se v ostrovním pidžinu nazývá odškodné za prolitou krev. Pohřeb byl plný emocí. Gideon plakal a říkal, že jeho peníze jsou oproti smrti Billyho „jen smetí“. Plakal i chlapcův otec a všichni strýcové, ovšem s vyrovnáním - asi 300 dolary - byli nakonec spokojeni a slíbili, že se nebudou mstít.
Žádný soud by to nevyřešil líp, jenže pravděpodobnost, že se něco pokazí, byla obrovská. Stačilo, aby někdo z Billyho příbuzných ztratil nervy, následovala by vražda a nekonečná spirála krevní msty.
Lidem v méně prvobytných končinách sice kmenová válka kvůli řízení nehrozí, ovšem etická a právní dilemata, která budou provázet šíření autonomně řízených aut, jim ji už brzy vynahradí.
Morální mašina
Základní otázka zní, jak budou nastavena pravidla pro „dilemata posledního soudu“. Tedy jinak řečeno, koho v případě, že zlomek vteřiny před nehodou bude možno volit už jenom ze dvou zel, zabít a koho ušetřit. A s tím souvisí další otázka: Kdo se na tvorbě těchto pravidel bude podílet? Nějaká nadnárodní organizace? Státy? Výrobci automobilů? Nezávislí dodavatelé softwaru či snad sám řidič?
Ať už to bude jakkoli, bude se muset vzít v potaz názor obyčejných lidí - řidičů i jejich potenciálních obětí. Na konci října publikovalo osm vědců (z MIT, Harvardu a dalších předních pracovišť) v prestižním vědeckém časopise Nature článek, který shrnuje výsledky zatím dvouletého fungování experimentu Moral Machine.
Řidič zatím poráží robota:
Zkušený řidič poráží autonomní řízení. Nesplete si igelitku s kočkou
Webové stránky, jež každému zájemci předloží sadu 13 výše zmíněných dilemat. V reálu vypadají nějak takhle: má jet auto rovně a zabít dvě manažerky, těhotnou ženu, tlustou ženu a kriminálníka, kteří všichni přecházejí na červenou, nebo zabočit a zabít manažerku korektně přecházející na zelenou?
V článku si každý najde svoje. Optimistu potěší, že tři preference, které lidé nejčastěji volili, zní docela rozumně - ušetřit radši víc životů než jeden, radši člověka než zvíře a radši mladého než starého (což je tedy na pováženou, ale pokud to člověk bere tak, že starý si už víc užil, tak budiž). Pesimistu naopak zděsí pomyšlení na hluboké rozdíly mezi jednotlivými zeměmi, které výzkumníci z MIT rozdělili do tří kulturních skupin (clusterů).
A Čecha nejspíš vyvede z míry zjištění, že odpovědi jeho spoluobčanů nás - spolu s Francií, Slovenskem a Maďarskem - neřadí do západní, ale do jižní „latinskoamericko-turecko-mongolské“ skupiny zemí. Ta se od zbylých dvou liší především slabým rozlišováním hodnoty lidského a zvířecího života a zároveň zcela mimořádnou snahou nepřejet člověka s vyšším sociálním postavením.
Boží řetězec
Moral Machine má jednu obrovskou výhodu - zapojily se do něj miliony lidí z celého světa, díky kterým mohli vědci analyzovat skoro 40 milionů dilemat. Ale také dvě nevýhody. Zaprvé vzorek respondentů není vážený, ale řekněme „samovybraný“, což vede třeba k tomu, že odpovídali převážně lidé s vyšším vzděláním. A zadruhé dosud zveřejněné výsledky jsou málo podrobné, což se týká hlavně rozdílů mezi jednotlivými státy a kulturními okruhy.
Kromě tří již zmíněných nejsilnějších celoplanetárních preferencí - ušetřit lidský život jako takový, ušetřit raději více životů a ušetřit mladého člověka - existují dvě další jen o něco slabší: ušetřit člověka s vyšším sociálním statusem a také toho, kdo dodržuje pravidla, oproti přestupníkovi, který třeba přechází na červenou.
Přečtěte si esej o tom, že zírat se nesluší:
Liberální demokrat jako objekt v obludáriu
Kromě toho z dat plyne, že by lidé - ale jde již o preference výrazně slabší - ponechali naživu raději fyzicky zdatného člověka než tlusťocha, ženu než muže, chodce než pasažéra (do nehody se řítícího) auta a upřednostnili by pasivitu před aktivitou. Tím je myšleno, aby auto, když už tedy musí někoho zabít, jelo raději rovně, než aby „vědomě“ strhlo řízení.
Do předkládaných složitých dilemat (možností je několik milionů) kromě toho výzkumníci zařadili několik konkrétnějších postav, například dítě v kočárku, lékař, kriminálník, pes či kočka. Díky tomu lze sestavit jakýsi „boží řetězec“ bytostí, které se těší nejvyšší, a naopak nejnižší ochraně oproti normálnímu muži či ženě. Sestupně řazeno vypadá takto: kočárek, dívka, chlapec, těhotná žena, lékař, lékařka, sportovkyně, manažerka, sportovec, manažer - tady dochází ke zlomu a všichni následující si naopak zaslouží skončit pod koly o něco víc - tlusťoška, tlusťoch, bezdomovec, starý muž, stará žena, pes, kriminálník, kočka. Komentáře netřeba, snad jen, že kočky nemá nikdo rád a že lékař-muž - dost možná jde o vzpomínku na staré rodinné lékaře z dob, kdy ještě svět fungoval, jak měl - jako jediný vzdoruje hegemonii žen.
Až překvapivě málo se odpovědi liší podle osobních charakteristik respondentů. Je jasné, že žena ušetří ženu raději než muž a mladý člověk mladého raději než starý člověk, ale nikde nedošlo k rozdělení respondentů do dvou proti sobě stojících skupin. Tedy i muži a staří ušetří spíš - byť s menší chutí - ženu, respektive mladého člověka. Vzdělání, příjem, náboženské a politické postoje pak při řešení „dilemat posledního soudu“ hrají jen zanedbatelnou roli.
Východ, západ, jih
Každý budoucí tvůrce globální „auto-moto-roboetiky“ se bude muset vypořádat s lokálními rozdíly ve vnímání hodnoty života. Bohužel Moral Machine tady zatím zrovna jasné odpovědi nedává. Jak už víme, všechny státy světa (respektive 130 z nich, ve kterých se našlo aspoň 100 respondentů) rozdělila počítačová analýza odpovědí do tří skupin, které autoři nazvali - západ, východ, jih.
Ta západní se vyznačuje vyrovnaností preferencí (oproti jiným skupinám relativně vyčnívá touha po pasivním řešení) a patří do ní naprostá většina evropských zemí, skoro celý britský Commonwealth, většina postsovětských republik - včetně Ruska a Ukrajiny, některé země subsaharské Afriky v čele s Nigérií a pak třeba Brazílie, Afghánistán, Bangladéš nebo Katar.
Preference kolektivistického východu jsou nejvyhraněnější ze všech. Oproti zbytku světa zde takřka neexistuje vůle ušetřit mladé, mnohem nižší je rovněž v případě fyzicky zdatných, lidí s vyšším sociálním postavením a žen. Také tendence zachránit více životů oproti jednomu je zde nejslabší ze všech. Vyčnívá naopak preference ušetřit chodce oproti pasažérům aut a ty, kdo dodržují pravidla (přecházejí na zelenou). Do východní skupiny náleží valná většina muslimských států, ale také Čína, Indie, Japonsko, Thajsko či Jižní Korea. Z Evropy pak Makedonie.
Náš „jih“ zdaleka nejvíc ze všech skupin preferuje ochranu vysoce společensky postavených lidí, žen, mladých a fyzicky zdatných. Naopak nejméně ze všech staví lidský život nad zvířecí a má největší tendenci odpustit přestupníkům porušujícím pravidla (což autoři interpretují jako přizpůsobení se životu v prostředí, ve kterém se hůře prosazují právo a zákony). Patří sem naprostá většina latinskoamerických zemí, Francie a země, ve kterých dřív Francouzi udržovali nějaký vliv, včetně Maroka a Alžírska, středoevropská anomálie tvořená Českem, Slovenskem a Maďarskem a pak státy jako Turecko, Mongolsko či Ázerbájdžán.
I chudí mohou létat:
Obří drony mají vytlačit tradiční taxíky ve městech
Je to hrubé rozdělení, ale často až překvapivě přesné. Poměrně silně odpovídá různým tradičním dělením světa do civilizačních okruhů a obvykle sedí i „drobnokresba“. Například ze západní skupiny se díky blízkosti odpovědí výrazně vydělují dvě předem očekávané podskupiny -skandinávská a zemí Commonwealthu.
Není také náhoda, že v autoetice k sobě mají nejblíže Češi, Slováci a Maďaři. Jenže spousta dalších nuancí nám zatím uniká, protože neznáme detailní data pro jednotlivé státy. Netušíme tak například, jak moc a čím konkrétně se vydělujeme ze západu, a proč Rakušané - kteří s námi po staletí sdíleli společný stát - zamířili na západ, a to konkrétně do skandinávské podskupiny.
Bůh si je přebere
Tvůrci experimentu Moral Machine doufají, že jejich výzkum by mohl předestřít kontury globální autoetiky, kterou by se v budoucnu řídili výrobci vozů. Zní to hezky, ovšem každý, kdo zná Járu Cimrmana, se jaksi nemůže zbavit dojmu, že existují chvíle, kdy by se optimisté z MIT a Harvardu měli popravovat.
Už jenom očekávání, že by se měl na něčem smysluplném shodnout celý - autodilematy poměrně dost rozdělený -svět, budí rozpaky. A radši si ani nepředstavujeme, jakým etickým softwarem by svůj vozový park ozvláštnila dejme tomu saúdskoarabská královská rodina. Půjde vůbec nějak zabránit tomu, aby se na Blízkém východě lavinovitě nešířil protižidovský firmware Jásir 2.04 (jeho středoevropským ekvivalentem by byl nejspíš protimuslimský Tomio 1.18) a nezvrhla by se snaha vyhovět přání lidí v šikanu celých skupiny obyvatel - tlusťochů, bezdomovců nebo třeba kuřáků, kteří stejně umřou dřív? S jakým pocitem by asi za volant či tam, kde dřív byl, sedal starý tlustý muž s nízkým sociálním postavením?
Čtěte esej: O (i)racionálním pokroku
Globálně uspět však nemusí ani ona základní a vcelku rozumná trojčlenka, kterou doporučují autoři článku, tedy preferovat ušetření lidského života, více životů a mladého života. Už třeba kvůli tomu, že lidé žijící ve východní skupině zemí preferují mladý život oproti starému jen nepatrně. Ostatně dosud jediný vážný pokus definovat etická autopravidla na úrovni státu, který má na svědomí německá etická komise pro autonomní řízení, skončil loni dost rozpačitě. Výsledkem bylo vlastně jen jedno konkrétní doporučení, a to preferovat lidský život před zvířecím. Naopak „počtářské“ dilema - víc životů, nebo jeden - nechala komise otevřené bez jasného výsledku a jakékoli další preference učiněné na základě osobních charakteristik, jako jsou věk, sociální status nebo pohlaví, prohlásila za nepřípustné.
Nakonec by možná byl nejlepším východiskem právě takový minimalismus. A třeba i ten úplně největší. Co třeba, kdyby v každém autě bylo napevno, nezměnitelně „zadrátováno“, aby v případě dilematu posledního soudu jelo prostě rovně?
Jenže dokážete si v takovém případě představit, co udělá průměrný český poslanec, až se na první stránce novin objeví zpráva, že samořiditelný vůz přejel místo kriminálníka doktorskou rodinku se třemi dětmi?
Dále čtěte: