Zhruba před rokem se ukázalo, že chyba v počítačovém programu ve státě Washington v USA propustila předčasně více než tři tisíce vězňů. Letos zase v Kalifornii chyby v počítačovém systému vedly k neoprávněnému ponechání lidí ve vězení, jejich zatčení, nebo dokonce registraci jako sexuálních násilníků. Bylo jich tak moc, že kancelář veřejného obhájce ve stovkách případů žádala, aby soud dal své záznamy do pořádku.

Stát o konání svých občanů získává stále více informací, nejenom v USA, ale sílící tendence tohoto druhu bohužel vidíme i u nás. Registr bankovních účtů, elektronická evidence tržeb, kontrolní hlášení DPH, připravovaný návrat povinného hlášení pobytu občanů dle komunistického vzoru, mýtné brány jako úsekové měření rychlosti… Zatímco dosud byly možnosti represivních orgánů státu limitovány personálně, nové technologické možnosti otevírají dosud netušené obzory.

Čím dál tím více rozhodnutí je a bude činěno automaticky, počítačově, na základě definovaných algoritmů. Kontrolní hlášení a EET jsou žhavými kandidáty. Máme obrovské množství dat, tak na ně pustíme analýzu, strojové učení, umělou inteligenci, a ono nám to najde podvodníky.

Jenomže algoritmy či jejich implementace mohou obsahovat chyby. Když k chybovému potenciálu přidáme zmíněné strojové učení a umělou inteligenci, je kontrola programátora nad výsledkem jenom nepřímá a pravděpodobnost omylu v jednotlivých případech nemalá.

České zákony zakazují činit rozhodnutí tohoto typu automatizovaně, leda by šlo o rozhodnutí ve prospěch toho, jehož se týká. Ale jak vypadá praxe, vidíme třeba na automatizovaném měření rychlosti, které mnoha obcím dodává soukromá firma, jež si na podílu z vybraných pokut založila živnost: vše dělá automat dodaný firmou, úředník jenom tupě razítkuje, jakkoliv formálně jde o jeho rozhodnutí. Stroj na získávání peněz do veřejných rozpočtů se už mnohde nesnaží výchovnou funkci nebo péči o bezpečnost ani předstírat.

Kdo ponese zodpovědnost za chybná rozhodnutí počítačových programů? Úředník, který měl zrovna službu a podepsal rozhodnutí stejně jako tisíc dalších? Úřad, který ale používá proprietární software dodaný soukromou firmou a jenom věří, že funguje, nemaje reálné možnosti cokoliv ověřit? Dodavatel, který se ale vymluví na to, že dodává jenom nástroje a jejich použití je na odběrateli?

Stát je špatný sluha a ještě horší pán. Mánie registrů všeho je dost hrozná sama o sobě a zneužitelná i staromódními metodami, když je vůle. Automatizované zpracovávání proprietárními algoritmy přinese ještě více zla. Političtí zločinci minulosti se hájili tím, že jenom plnili rozkazy. Počítače nic jiného než plnit rozkazy neumí.