Google Photos AI anklagar av misstag en användare för barnbrott (och polisanmäler honom)

Ett tolkningsfel som gjordes av ett verktyg för artificiell intelligens skapat av Google ledde till att en utredning om pedokrim inleddes.

Ett Google-verktyg dedikerat till att automatisera avlyssning av pedofilbilder som cirkulerar på webben har sått oenighet, vilket återigen utlöst kontroverser kring jätten och dess praxis som anses vara påträngande i behandlingen av personuppgifter.

AI blandar ihop medicinskt område och barnkriminalitet

Incidenten inträffade över Atlanten i februari 2021, under restriktionerna kopplade till Covid-19. Mark, en pappa som märkte svullnad i sitt barns underlivsområde, ombads att skicka bilder av problemet till läkarmottagningen innan konsultationen med en läkare hölls genom videokonferens. Två dagar senare får Mark ett meddelande från Google. Detta säger att hans konton kopplade till jättens tjänster har stängts av på grund av en ” skadligt innehåll “representerar” ett allvarligt brott mot Googles policyer och som kan vara olagligt “.

Googles verktyg lanserades 2018 och syftar till att fånga upp fotografier av barnpornografisk natur. Kallas Content Safety, verktygslådan fokuserar på att minimera mänskligt ingripande i samband med denna upptäckt. För att identifiera denna typ av innehåll, som många företag, använder Google Microsoft PhotoDNA-teknik.

I efterdyningarna förlorade Mark åtkomsten till sina e-postmeddelanden, kontakter, foton och till och med sitt telefonnummer när han använde Google Fi, den virtuella mobiloperatörstjänsten som är tillgänglig i USA. Om Mark omedelbart försökte överklaga Googles beslut, avvisade webbmästaren alla försök och en utredning inleddes i december 2021 av polisen i San Francisco, förälderns hemstad.

Förebyggande metoder anses vara påträngande

Även om det är av yttersta vikt att skydda barn från övergrepp, uppstår frågan om integritetskränkning med alla användare utan skuld. Jon Callas, Director of Technology Projects på Electronic Frontier Foundation reagerade också på detta New York Times genom att kvalificera sig som påträngande dessa metoder utförda av Google: Det är just den mardrömmen som oroar oss alla “.

I detta avseende uppger Google att de endast skannar sina användares bilder när de använder vissa tjänster. I det här fallet kan det vara säkerhetskopian till Google Foto. Det är också värt att komma ihåg att Google är lagligt skyldigt att rapportera alla bilder av denna typ till myndigheterna. År 2021 rapporterades inte mindre än 621 583 fall.

Källa: Gränsen