Výrobce sledovacích kamer vybavených AI uznal zneužívání, změní pravidla a doporučení
Kamery vybavené umělou inteligencí, které dokážou vyhledávat auta i osoby, rostou v USA jako houby po dešti. Občané se obávají zneužití ze strany policie, k němuž skutečně dochází, i z narušení soukromí. Nejznámější výrobce těchto systémů reagoval na kritiku; soukromí lidí ve vyjádření pro televizi nezmínil.
Vleklá kauza související s kamerami sledujícími nejen provoz na silnicích, za nimiž stojí společnost Flock, rezonuje Spojenými státy už nějakou dobu. S masivním nasazováním kamer schopných nejen číst registrační značky, ale i bez ní poznat konkrétní auto podle jiných znaků, jsou spojené kontroverze týkající se narušování soukromí a dokonce i případy stalkingu bezúhonných občanů ze strany policistů. Problémy jdou tak daleko, že podle americké televizní stanice CNN některá města omezují či pozastavují funkci kamer.
Zakladatel a šéf firmy Flock Garrett Langley si nyní trochu nasypal popel na hlavu: „Mrzí mě, že vás systém zklamal,“ vzkázal lidem, kteří se dostali do problémů s policií kvůli chybě na její straně, založené na datech z kamerových systémů nejen Flocku.
K takovým lidem patří i Joel Feder, americký automobilový novinář, kterého policie obklíčila, protože si myslela, že řídí auto s kradenou registrační značkou. Tím autem byl range rover z novinářské flotily, takže že by byla značka skutečně kradená, má nulovou pravděpodobnost. Šlo o kombinaci lidského omylu a chyby v rozpoznávání značek v softwaru Flocku.
Langley tak úplně nepřijal odpovědnost za chyby a zneužití, místo toho uvedl, že oznámení o nalezení člověka či auta, které vydá kamerový systém, „je vodítko, nikoliv řešení případu, a mělo by být ověřeno policistou“.
Spíš než cokoliv jiného je závažné, že má policie tendenci si takto zkracovat cestu. Langleyho firma „jen“ dodává nástroje. Jejich zneužití k plošnému sledování a narušování soukromí je už věcí toho, kdo daný systém spravuje. Neměli bychom si v žádném případě myslet, že pokud státní správa či moc dostane takovouto možnost, nebude se snažit jí využít či dokonce zneužít.
Flock však přeci jen drobně změnil fungování svých systémů. Data z kamer se budou standardně uchovávat jen 7 dnů, bude to tedy víc než jen doporučení – ale pořád to nebude závazný limit. „Dosavadní zákazníci si ponechají současné, demokraticky schválené doby uchování dat,“ stojí v prohlášení firmy.
Skupiny bojující za lidská práva, jako Americká unie lidských práv a Nadace elektronické hranice, si stojí za názorem, že policie musí mít možnost vyhledávat v datech Flocku jen na základě aktivního vyšetřování, nikoliv libovolně. S tím nyní Langley souhlasí – ale ani tohle není nic závazného, alespoň prozatím, a reálně se na zneužívání dat nic změnit nemusí. Firma však zavede novou funkci filtrování přestupků, která umožní městským radám upravit konkrétně jaké přestupky smí policejní a jiné bezpečnostní sbory v rámci dotčeného města vyhledávat.
V nedávné minulosti se také změnilo přihlašování lidí, kteří v databázi kamerových záznamů chtějí vyhledávat, tak, že vyžaduje dvoufaktorové ověření. Na této informaci je děsivé spíš to, že dosud nic takového vyžadováno nebylo, takže pro hackery bylo snazší se k databázi dostat. Dvoufaktorové ověření umí hackeři obejít také, ale je to náročnější.
Podle Langleyho – jehož firma není jediná, která podobnou techniku poskytuje – je v každém případě nutné v případech zneužití a omylů začít u lidí, tedy u policie. „Máme povinnost pomoci všem, aby se cítili bezpečně, a to začíná u důvěry,“ řekl. Pokud lidé nevěří policii, kamery jsou samozřejmě problémem, dodal. Pro CNN uvedl, že by policisté, kteří systém zneužijí, měli být nikoliv jen propuštěni ze služebního poměru, ale i trestně odpovědní. Na zlepšení v této oblasti se podle něj pracuje.
AI neumí speciální značky
Jak to bylo s tím novinářským range roverem? Šlo o registrační značku státu New Jersey s kombinací 34 10 DTM a číslo 10 bylo menší; byl to standardní formát pro značky používané automobilkami v tomto státě. (Americká novinářská auta jsou, na rozdíl od těch českých, opatřena speciálními značkami, na nichž jsou některé znaky menší a nechybí nápis „Manufacturer“ nebo „Vehicle MFR“ vespod.)
Některý policista na druhém konci Spojených států však do systému chybně zadal ukradenou značku jako 34 DTM z New Jersey, nikoliv 34 03 DTM, která byla skutečně ukradena. Když tedy kamery zaznamenaly kombinaci 34 10 DTM s malým číslem 10 uprostřed, chybně ji vyhodnotily jako 34 DTM a proto bezúhonného občana obklíčila policie připravená střílet.
Nutno dodat, že ze strany policistů to je pochopitelný postup – mysleli si, že mají co do činění s kriminálníkem. Nepočítali s tím, že došlo zároveň k lidské chybě i k chybě systému, který nedokázal poznat malé číslo 10.
„Řada vozidel v novinářské flotile JLR má značku výrobce z New Jersey s kombinací 34 ** DTM,“ kde hvězdičky znamenají dvě číslice menší velikosti, řekl Feder. „Čtyři další auta s takovouto značkou byly v tom týdnu sledovány jen v Minnesotě, já byl jen první, na koho zacílili,“ dodal.
Zdroje: The Drive, CNN | foto: archiv
