De ogen van algoritmen

De ogen van algoritmen

Magazine
© Robert-Jan Lechner

De politie gebruikt gezichtsherkenning om burgers te identificeren. Maar burgers worstelen om BOA's, beveiligers, agenten en andere uniformen uit elkaar te houden. Uniformherkenning biedt uitkomst. Top story


Marieke Drost woensdag 17 oktober 2018
Inhoud: 
© Robert-Jan Lechner

De meeste mensen zijn slecht in het matchen van gezichten van vreemden. Zelfs geoefende professionals zoals paspoortcontroleurs presteren niet al te best. Dat is een probleem, niet alleen voor grensbewakers, maar ook voor politieagenten en rechercheurs op zoek naar een verdachte.

Gezichtsherkenningstechnologie kan dat allemaal oplossen, is de belofte. Neutrale, objectieve algoritmen zouden het werk overnemen van ons menselijke, bevooroordeelde brein met zijn beperkte oordeelsvermogen en dito geheugen. Dus worden paspoortcontroleurs her en der vervangen door slimme camera’s, en maken steeds meer politieteams gebruik van de technologie, die al of niet geïntegreerd wordt in bodycams of zelfs in smart glasses, zoals in China.  Nu werkt gezichtsherkenning in die smart glasses nog alleen als mensen netjes stil blijven staan, maar een leger van programmeurs is bezig die prestaties op te krikken en tot die tijd zijn burgers voor de zekerheid toch maar gehoorzaam - je weet maar nooit.

Voor al die gezichtsherkenningssystemen worden enorme fotodatabases aangelegd. In de VS zijn de face prints van zo’n 117 miljoen burgers verzameld; de Indiase nationale biometrische database bevat de gegevens van meer dan een miljard mensen, zo’n 90% van de gehele bevolking. En natuurlijk spant surveillancestaat China de kroon: daar wordt gebouwd aan een database die de gehele bevolking omvat - bijna 1,3 miljard mensen. In april pikte het systeem een verdachte uit een 60.000 mensen tellend publiek bij een popconcert.

Het neutrale, objectieve imago van gezichtsherkenningstechnologie heeft de afgelopen tijd deuken opgelopen.

Ook de Nederlandse politie gebruikt een gezichtsherkenningssysteem, zij het veel bescheidener van omvang. Het systeem heeft de pakkende naam CATCH en kan de gezichten van mensen die geregistreerd zijn door een bodycam of bewakingscamera vergelijken met afbeeldingen in een database. Die database bevat ruim een miljoen mug shots van arrestanten en veroordeelden. Geen grote onwillekeurige dataschepperij dus zoals in de VS, India en China, maar desalniettemin een indrukwekkend aantal.

CATCH kan ook de zogenoemde ‘vreemdelingendatabase’ met foto’s van asielzoekers en ‘illegalen’ doorzoeken - mits een officier van justitie daar opdracht toe geeft en een onderzoeksrechter toestemming verleent. Vorig jaar werden duizend foto´s gecheckt, wat 93 matches opleverde. Kortom, gezichtsherkenningstechnologie begint een gangbaar verschijnsel in de publieke ruimte te worden en bovendien een vast onderdeel van de politietoolbox.

Maar het neutrale, objectieve imago van de technologie heeft de afgelopen tijd wat deuken opgelopen.

Gekleurde blik

Zo bleek uit een onderzoek van Joy Buolamwini (MIT) dat gezichstherkenningssoftware van Microsoft, Face++ en IBM moeite heeft met het analyseren van de gezichten van vrouwen en van niet-witte mensen. Die algoritmen bleken enorm goed in het vaststellen van het gender; ze scoorden tot wel 99% goed - mits ze althans foto's van witte mannen voorgeschoteld kregen. De scores kelderden als ze foto’s van vrouwen en niet-witte mensen moesten analyseren, in het slechtste geval met wel 34%.

Algoritmische bias uitgelegd door Joy Buolamwini

De vermoede oorzaak: gezichtsherkenningsalgoritmen zijn getraind met fotosets waarin witte mannen oververtegenwoordigd zijn. En net zoals mensen moeite hebben met het herkennen van mensen met een etnische achtergrond die hen vreemd is, hebben zulke algoritmen dat ook.

Racial bias in gezichtsherkenningsalgoritmen treft vooral minderheden die überhaupt al over-policed zijn.

Waar dat toe kan leiden illustreerden tests met Amazons Rekognition-software, die aan hetzelfde euvel bleek te lijden. Het matchte 28 Amerikaanse politici ten onrechte met arrestanten. Van die 28 was een disproportioneel aantal politici niet wit.

Zowel Microsoft als Amazon leveren technologie aan overheden. Microsoft aan de Amerikaanse immigratiedienst ICE (wat het bedrijf later ontkende), en Amazon aan verschillende Amerikaanse politie-eenheden. Terwijl het volgens Buoamwini momenteel onverantwoordelijk is om deze systemen te gebruiken. Temeer omdat racial bias vooral minderheden treft die toch al ‘over-policed’ zijn.

Amazon verkoopt Facial Recognition technologie aan de politie

Wie ben jij?

‘Voor de politie is het van groot belang om te weten wie ze voor zich heeft’, aldus de Nederlandse nationale politie in een persbericht over CATCH. Dat is het natuurlijk altijd geweest. Al zo lang ze bestaat zoekt de politie naar een objectieve en betrouwbare technologie die die simpele vraag - wie hebben we hier? – kan beantwoorden. In de loop der eeuwen heeft zij daarvoor uiteenlopende identificatietechnologieën ontwikkeld, van het geschreven signalement tot de mug shot en van de vingerafdruk tot Bertillonage, een soort 19e-eeuwse biometrie. Gezichtsherkenningstechnologie heeft kleurrijke voorlopers.

Bertillonagetechnieken

Grappig genoeg heeft de Nederlandse burger sinds kort een soortgelijk identificatieprobleem. Ordehandhavers zijn zelf namelijk steeds minder makkelijk te herkennen, doordat er steeds meer verschillende uniformen in Nederland rondlopen. Naast politieagenten patrouilleren er massa's stadswachten, toezichtmedewerkers en private beveiligers door de straten, plus een klein leger buitengewoon opsporingsambtenaren, kortweg BOA’s (inmiddels zo’n 23.000, and counting).

Burgers weten vaak niet welke ordehandhavers zij voor zich hebben en wat hun bevoegdheden zijn. Daardoor kennen burgers hun eigen rechten niet.

Aan elke uniform hangt een specifiek takenpakket en bijbehorende bevoegdheden. Maar als je niet bekend bent met die ingewikkelde taxonomie zeggen veel uniformen je weinig. Resultaat: de burger weet vaak niet wie hij nu precies voor zich heeft, wat diens bevoegdheden zijn - en dus zijn eigen rechten.

Van de twee ordehandhavers op de foto hieronder heeft bijvoorbeeld eentje mogelijk de bevoegdheid geweld te gebruiken; de ander zeker niet. Grote kans dat je niet weet welke.

Welk van deze ordehandhavers heeft de bevoegdheid om geweld te gebruiken?

Je bent niet de enige. Op fora wordt uitgebreid gedelibereerd en geklaagd - en zelfs de handhavers zelf raken vaak het overzicht kwijt.

RANG

Maar waar zowel diender als burger moeite heeft om te bepalen wie hij tegenover zich heeft, beschikt de eerste over algoritmische hulpmiddelen zoals CATCH, de laatste niet.

De uniformherkennings-app RANG biedt uitkomst. Spreekt iemand in een jou onbekend uniform je aan, dan trek je je smartphone, open je de RANG-app en maak je een foto.

Tegenover een ordehandhaver met bodycam staat voortaan een burger met smartphone waar een uniformherkenner op draait.

Het RANG-algoritme checkt het uniform en vertelt je met welk type diender je te maken hebt en wat zijn bevoegdheden zijn. Bij een BOA hangt dat af van zijn specifieke opdracht. Tegenover de handhaver met bodycam staat voortaan een burger met een smartphone in zijn borstzakje waar een uniformherkenner op draait.

In de appstore zul je RANG nog niet vinden; maar er is wel al een prototype beschikbaar. Die ontwikkeling is namelijk geen kattenpis. Wil je een algoritme trainen, dan moet je ten eerste massa’s foto’s verzamelen, en dat is nogal een werk. (Wie zo gek is zich daaraan te wagen, gaat begrijpen waarom sommige gezichtsherkenningsbedrijfjes overgaan tot dubieuze acties als het scrapen van gezichten van Facebook).

Bovendien moet je de complexe werkelijkheid zo serveren dat algoritmen er chocola van kunnen maken. Dat betekent in eerste instantie dat je ze duidelijk afgebakende categorieën moet voeren die te koppelen zijn aan een beeld – aan een uniform, in dit geval. Maar dat die categorieën niet duidelijk afgebakend zijn was nu juist het probleem. Een BOA kan in dienst zijn van de overheid, of van een bedrijf, zoals de geelgejaste NS-BOA. Sommige BOA's zijn geweldsbevoegd, andere niet, sommige hebben het recht om een vuurwapen te dragen, andere niet.

Welke NS-BOA is geweldsbevoegd?

Mag dat?

Er zijn natuurlijk duidelijke verschillen tussen RANG en CATCH.
CATCH kijkt naar individuen en werkt (nog) niet real-time. RANG kan dat wel, en analyseert uniformen, geen gezichten. En toch zijn ze in zekere zin elkaars spiegelbeeld. En dat is met opzet.

Zo makkelijk als we ons neerleggen bij het feit dat de overheid allerlei algoritmen op ons loslaat, zo scherp zijn de reacties op RANG.

Want RANG wil de technohierarchie op zijn kop zetten. Het is een van de Civil Weapons of Math Retaliation van SETUP, dat aandacht vraagt voor de scheve verhoudingen tussen burgers enerzijds en met algoritmen uitgeruste overheden en bedrijven anderzijds.
Als concept heeft RANG bovenal tot doel om vragen op te roepen. En dat gebeurt.

Zo makkelijk als we ons lijken neer te leggen bij het feit dat de overheid allerlei algoritmen op ons loslaat en data van ons opslaat, zo scherp zijn de reacties op RANG. 'Mag je wel zomaar foto’s van een agent maken?’ ‘Hoe zit het met de privacy van de agenten?’ ‘Hoe lang worden de foto’s bewaard?’ ‘Pikken agenten dat?’ En: ‘Hoe voorkom je dat er misbruik van gemaakt wordt, dat mensen bijvoorbeeld een individuele agent proberen te identificeren?

Zinnige, verstandige vragen. Maar het punt is: dit is precies het soort vragen dat we zouden moeten stellen over gezichtsherkenningssystemen als CATCH.

Als je gezicht de sleutel tot jouw identiteitsgegevens wordt, hoe bescherm je die dan?

Mogen overheden wel zomaar foto’s van burgers opslaan? Hoe zit het met de privacy van die burgers? Hoe lang worden de foto’s bewaard – bijvoorbeeld als een arrestant onschuldig blijkt, of een veroordeelde zijn straf uitgezeten heeft?

Want als je gezicht de sleutel tot jouw identiteitsgegevens wordt, hoe bescherm je die dan? Je kunt je gezicht niet versleutelen (behalve als je een fan bent van de Insane Clown Posse), zeker nu steeds meer overheden het bedekken van het gezicht verbieden. Wil je altijd identificeerbaar zijn door de overheid? En ook door toekomstige overheden, die het wellicht minder nauw nemen met burgerlijke vrijheden?

Zoals Buolamwini, de MIT-onderzoeker, zei: het fixen van de bias in huidige gezichtsherkenningssoftware heeft geen zin als die technologie vervolgens als wapen wordt ingezet. Als gezichtsherkenningstechnologie zo accuraat is (of wordt) als beweerd wordt door de producenten ervan, is dat slecht nieuws voor dissidenten, journalisten en activisten in landen waar de rechtsstaat onder druk staat. Het zijn nu al vaak kwetsbare groepen die het meest gesurveilleerd worden, zoals minderheden, vluchtelingen en migranten.

Beloftes

CATCH wordt gebruikt voor opsporing, en niet voor surveillance, belooft de Nederlandse politie. En de matches die CATCH vindt gelden niet als bewijs, het zijn slechts suggesties, die zeer kritisch bekeken worden door experts van vlees en bloed.

We moeten erop vertrouwen dat die menselijke beoordelaars inderdaad kritisch kijken naar de geautomatiseerde suggesties. We moeten er ook op vertrouwen dat de databases goed beveiligd zijn, de algoritmen accuraat en unbiased zijn, en dat het systeem ethisch verantwoord ingezet wordt.  Net zoals de politie het bedrijf vertrouwt dat hen de technologie geleverd heeft. En net zoals ze de testscores vertrouwt op basis waarvan ze dat bedrijf als leverancier gekozen heeft– de code zelf mag de politie namelijk niet bekijken: die valt onder het bedrijfsgeheim.

Goed, wij vertrouwen de politie. En in ruil vragen wij hen, en de BOA’s en alle andere ordehandhavers die gefotografeerd worden door RANG-gebruikers, erop te vertrouwen dat we hun gegevens goed zullen beveiligen, dat we alles doen om misbruik te voorkomen wordt en hun privacy te waarborgen. Ze hoeven zich geen zorgen te maken, dat komt helemaal goed.

Vorig jaar mocht de Britse journalist John Sullivan het systeem van de politie van de stad Guiyang testen. Nadat hij zijn foto had laten nemen maakte hij een wandelingetje door de stad, die zoals zoveel Chinese steden volhangt met beveiligingscamera's. Binnen zeven minuten identificeerden die artificial eyes Sullivan, en werd het dichtstbijzijnde politieteam gealarmeerd, dat Sullivan vervolgens ‘arresteerde’.