Jedna věc je sbírat údaje a používat je pro potřeby organizace. Druhá věc je ve jménu transparentnosti publikovat žebříčky, které měří jen některé výkony. Může to být užitečné, když tak činí expert s úsudkem.
Avšak vysloveně škodlivé je ve jménu odpovědnosti (accountability) dělat ranking všech možných institucí a přidělovat jim zdroje podle pochybných ukazatelů. Bohužel přesně to je základem P4P, nejpopulárnější veřejné politiky všech dob, tvrdí kniha amerického historika Jerryho Z. Mullera The Tyranny of Metrics (Tyranie čísel).
A co je na politice P4P (Pay-for-performance čili „odměna za výsledky“) tak špatného? Zhruba to, že ze středně líného koně udělá vmžiku mrzáka na steroidech, dokazuje Muller na 220 stranách hutného textu. S příchodem masového sběru dat všeho druhu totiž nepřestal platit starý dobrý Goodhartův zákon, který říká, že každé kvalitní měření se zhroutí, když ho začneme používat k ovlivňování výsledků. Vybereme-li si nějaký ukazatel konkrétní instituce (školy, nemocnice, policejní jednotky) za cíl a ostatní se snažíme přimět k podobnému výsledku, přestane být samotné měření spolehlivé. Proč? Protože mu systém začne dodávat falešná data.
Vyhynutí drvoštěpů. Nejkurióznější právní normou roku je „dřevorubecké“ nařízení vlády
Řečeno česky - hráči budou podvádět. Šampionem v oboru dlouho byla plánovaná ekonomika a cifry jejích dodavatelů, ale i moderní anglosaské metriky (srovnávací měření) v sobě ukrývají poklady lidské vynalézavosti. Instituce k ní tentokrát nepovzbuzuje komunistický byrokrat, nýbrž moderní, transparentní a odpovědný veřejný činitel, jenž potřebuje na konkrétních datech voličům demonstrovat, že je stále odpovědnější a transparentnější. A instituce mu ta data dodají.
Sto způsobů, jak očurat systém
Angličtina má pro tu činnost nádherné výrazy jako gaming, creaming nebo juking the stats. Všechny popisují snahu očurat systém v mezích jeho vlastních pravidel, chuť zahrát mu „na jukeboxu“ požadované melodie (statistiky). „Když si starosta vytyčí za cíl snížit zločinnost o pětinu, má asi na mysli o pětinu méně obětí zločinu. Policisté si to přeloží jako výzvu, aby evidovali o pětinu méně trestných činů“ řekl při parlamentním slyšení v Londýně jistý penzionovaný vyšetřovatel (z něhož se v roce 2013 stal whistleblower), „děje se to v celé Anglii. Policisté snižují trestní kvalifikaci nahlášených činů, zaznamenávají několik incidentů v okrsku jako jeden nebo se prostě rozhodnou obětem nevěřit.“
Měření se „zhroutí“, řekl by sociolog. „Je to tak jednoduché. Službu konající policista záměrně překlasifikuje čin, nebo přímo upraví výpověď. Z vloupání do domu se stane nedovolený vstup, z vloupání do garáže majetková škoda. Z krádeže je ztráta osobní věci“ citoval list Chicago Tribune v roce 2014 jednoho vyšetřovatele. Sběr dat, který už tak stojí dost úsilí, si vyžádá dodatečné prostředky (časové i peněžní) ve formě auditů interních zpráv. A to ještě tehdy, když má policejní správa dost rozumu, aby si takový audit vyžádala.
Nejklasičtějším příkladem, jak policie vykazuje falešný boj se zločinem, je počet osob usvědčených z obchodu s narkotiky. „Sebrat pět mladíků na ulici je určitě výhodnější než řadu let sledovat drogového bosse a dokázat mu vinu. Z hlediska policejní metriky má ale každé zatčení stejnou váhu,“ říká v seriálu HBO The Wire bývalý policista z Baltimoru Ed Burns, autor poetismu „juking the stats“.
Přečtěte si esej:
Keynesiánská cesta do pekel
Policejní kouzla s čísly mají dopad na zdraví a majetek občanů, byť tak trochu vycházejí vstříc temným tušením veřejnosti. Poněkud víc překvapí, že podobně hazardně jsou ochotni zacházet s lidskými životy také učitelé a lékaři - stačí jejich kariéru a ohodnocení podřídit metrikám a následně metodě P4P, kterou valná většina veřejnosti na Západě považuje za součást transparentnosti a vnímá dosti kladně.
Učitelé velmi ochotně přizpůsobí výuku testům, aby měla škola lepší rating, zatímco lékaři jsou přímo ochotní posílat pacienty na smrt…
Pokuta za špatné pacienty
Kardiochirurg, jehož veřejně přístupná „report card“ (vysvědčení) eviduje počet nezdařilých bypassů, si prostě nemůže dovolit přijímat pacienty se špatnými vyhlídkami na zotavení. Což shodou okolností bývají důchodci trpící různými dalšími nemocemi. Rating úspěšnosti nedokáže ony nebožáky odlišit od mladého sportovce. Nápad, že by chirurgové měli zveřejňovat vysvědčení, převzala Amerika z Anglie - Tony Blair, Bill Clinton, George W. Bush i Barack Obama, ti všichni svorně přísahali na cokoli, co neslo přívlastek transparentní. Lékařský stav jim odpověděl ústy Jeda Mercuria, bývalého lékaře a autora britského seriálu Bodies: „Špičkový chirurg užívá svého špičkového úsudku i k tomu, aby se vyhnul situacím, jež by mohly prověřit jeho špičkové schopnosti.“
První experiment s ratingem operačních sálů ve státě New York přinesl nadšení. Nemocnice opravdu výrazně snížily úmrtnost pacientů do 30 dnů po operaci (sic), zejména proto, že lékaři využili svého práva a případy se špatnými vyhlídkami na zotavení jednoduše odmítli.
Takové pacienty nadále přijímala např. Cleveland Clinic v Ohiu, jejíž výsledky se ale do statistik státu New Yorku nezapočítaly. Jiné nemocnice v New Yorku našly v boji proti nepřízni metrik elegantnější řešení - jenže také o dost nákladnější: udržovat případy neúspěšných bypassů při životě uměle 31 dní. Proč? Protože pak už „případ“ vypadne ze sledované statistiky…
Postavte se bossingu: tyto signály napoví, že vás šéf zneužívá
Rating nesledoval jen kardiochirurgy, dokázal například snížit počet opětovných přijetí pacientů po nedávném propuštění, jakmile počty nových hospitalizací provázal s finančními sankcemi. Tím ovšem jen narostl počet pacientů přijatých „na pozorování“, účtované pojišťovnám jako ambulantní péče, a také počet přijetí na jednotku intenzivní péče.
Rating nemocnic tak přesouval problémy z jedné nemocnice do jiné či z oddělení na oddělení.
Zdravotní zařízení v chudých oblastech se sankcím plynoucím ze standardizovaných měření vyhnout nedokázala - nemocnost a návratnost pacientů totiž v jejich lokalitách neovlivňuje tolik péče, jako spíše chudoba, hlad, kriminalita a stres. Tyto nemocnice jsou jednoduše sankcionovány za to, že se nacházejí na špatném místě.
Měření dokáže odhalit případy plýtvání a parazity v systému, připouští Muller. Jenže když se posbírá tohle nízko visící ovoce, užitečnost metrik začíná rychle klesat. Mimo jiné proto, že v odvětvích složitějších než pásová výroba nebo velkoprodej vyžaduje samotné čtení přehledných excelových sloupců mnohem více úsudku, než si je kdokoli z řad nadšených zastánců transparentnosti ochoten připustit.
Kohout působí východ slunce
Masový sběr dat zavedli do zdravotnictví manažeři a absolventi obchodních akademií, které oslnily zkušenosti některých nemocnic (např. Cleveland Clinic) s diagnostickými databázemi. Podle logiky, že „kohout kokrhá před východem slunce, tudíž kohout způsobuje východ slunce“, usoudili, že když se celkově dobrá a motivovaná práce expertů z Clevelandu (slunce), s níž korelovala předchozí intenzivní výměna dat (kohout), rozšíří na všechny nemocnice v zemi a všichni poskytnou všechny údaje všem, masivní kokrhání (výměna dat) rozsvítí celé zdravotnictví jako Mléčnou dráhu.
Byl to jen jeden z mnoha logických bludů manažerského směru, který uznává pouze numerické ukazatele, jeho nástrojem je kvantitativní analýza, krédem věta „když to nejde změřit, nejde to řídit“, a základním předpokladem to, že dobrý manažer je schopen řídit cokoli nezávisle na oboru podnikání. Když má tedy po ruce dostatek dat. Prvním takovým absolventem Harvard Business School byl Robert McNamara, který se po úspěchu Fordu ve 40. letech (tam pochopil pásovou výrobu) suverénně ujal postu ministra obrany. Pět let pak řídil válku ve Vietnamu jako kvantitativní karneval.
Po celou dobu chrlil Pentagon denní výkazy o počtu vzletů bombardérů, o počtu dělostřeleckých útoků a hlavně o počtu zabitých členů Vietkongu, kam velitelé zahrnovali i mrtvé civilisty a součet od oka násobili nějakým svým koeficientem, neboť se od něj odvíjelo také jejich povýšení. Amerika denně sledovala ohňostroj cifer a divila se, proč už není válka dávno vyhrána. Dnes již víme, že v Pentagonu tehdy jednoduše nikdo neuměl numerické ukazatele číst.
Inseminátoři všech zemí spojte se: Proč je historie lidstva plná etnických a genetických paradoxů?
Počty mrtvých, ale i počty vycvičených Vietnamců či Afghánců na straně USA jsou příkladem „vstupních dat“ (ta měří úsilí), mnohem důležitější jsou však data výstupní, která měří skutečný efekt úsilí. Tedy kolik nepřátel je po roce boje ještě schopných odporu, kolik zrekrutovaných vojáků je pořád aktivních nebo kolik nemocnic a škol postavených na dobytém území nadále funguje. ¨
Některá zdánlivě jednoduchá data často neinterpretuje správně ani zapisovatel v Pentagonu. Třeba indikátor SIGACT, což je akronym pro „významnou aktivitu“, tj. počet násilných incidentů v nějakém geografickém prostoru, o jehož kontrolu USA usilují. Selský rozum velí číst tento ukazatel jako „čím méně násilných incidentů, tím lépe pro nás“, jenže vojenský velitel na místě ví, že to tak někdy je, a někdy zase ne. Nízká aktivita a počet incidentů na území ovládaném vládou, na území pod kontrolou povstalců a na sporném teritoriu znamená pokaždé něco jiného. V posledním případě třeba to, že „někdo má situaci pevně v rukou, ale my nevíme kdo“.
Některé ukazatele mohou být naopak důležité, aniž by to kohokoli v Pentagonu napadlo. Například cena běžné zeleniny, která se v daném regionu nepěstuje. Jelikož rizika plynoucí z dlouhého transportu zboží do vzdálené oblasti a následného převozu hotovosti nazpět bývají automaticky zakomponována v ceně produktu, může být levná zelenina v nějakém nevýznamném údolí jasným indikátorem, že obyvatelstvo rozsáhlých oblastí vnímá bezpečnostní situaci jako dobrou.
Jestli je tak snadné nechat se zmást i jednoduchými metrikami vojenského konfliktu, jak má chtít laik hodnotit celkovou efektivitu nemocnic nebo školství podle excelových tabulek?
Transparentní cesta do pekel
Data mají etymologický původ v latinském datum (něco, co je dané), ve skutečnosti se ale většina z nich musí odebrat, aktivně přidělit či rovnou vymyslet. Už tato činnost stojí veřejné rozpočty na Západě miliardy dolarů a zaměstnanci ztrácejí vyplňováním tabulek miliony hodin, které by jinak věnovali samotnému výkonu své profese.
Ta přitom až na pásovou produkci bývá zpravidla o něčem jiném než o plnění plánu. Pro případ, že by to už mezitím přestalo platit, přinášíme dodatečnou informaci o Mullerově knize na závěr: The Tyranny of Metrics má 220 stran, průměrná kapitola obsahuje 10,18 stránky, 17,76 poznámky pod čarou a celé to dohromady váží 221 gramů.
Čtěte další eseje:
Na cestě do pekel
