Een samenleving gebaseerd op algoritmische risicoprofielen

Een samenleving gebaseerd op algoritmische risicoprofielen

Magazine

Op 16 januari sprak Virginia Eubanks over de maatschappelijke gevolgen van voorspellende algoritmen. Waar moeten we op letten om te voorkomen dat ook hier sociale ongelijkheid wordt geautomatiseerd? Top story


Siri Beerends woensdag 9 januari 2019
Inhoud: 

Een ingekorte versie van dit artikel is gelijktijdig verschenen op Sociale Vraagstukken

Omringd door tientallen beeldschermen wanen we ons in een controlekamer van de publieke ruimte. Het systeem vraagt om hulp: er is een verdacht persoon gedetecteerd en alle beelden moeten realtime worden beoordeeld met twee knoppen: een groene voor maatschappelijk gewenst gedrag, een rode voor verdacht gedrag.

Wanneer we een vrouw zien graaien in een winkelschap wordt er flink op de rode knop gedrukt. Ook haar roekeloze oversteekgedrag en het doelloos rondhangen op een industrieterrein worden door het publiek meedogenloos afgestraft met de rode knop. Ondertussen zien we haar score op het scherm omlaag kelderen: 78, 49, 40… maar dan staat dezelfde vrouw plotseling in levende lijve voor ons: ‘of we lekker bezig zijn’, vraagt ze. De schamele 35 punten die we nog van haar score hebben overgelaten heeft ze nergens aan verdiend; iedereen loopt wel eens door een rood stoplicht en wie wil nou niet ongeremd met zijn hand door een winkelschap woelen? Nostalgisch worden we door haar toegezongen onder begeleiding van een aluminium ukelele: waar is toch die goede oude tijd toen in het verleden gedane zaken nog niet werden doorberekend als een garantie voor de toekomst?

© Foto: Bart Leguijt
Fragment uit de voorstelling "Garanties uit het verleden"

In de kritisch-hilarische performance ‘Garanties uit het verleden’ maken Marijke Hessels en Lieke van der Made hun publiek onderdeel van een digitale controlemaatschappij waarin afwijkend gedrag wordt gemonitord en doorberekend in een risicoscore. De performance is een hyperbool, maar staat minder ver van de realiteit dan we misschien zouden denken.

Nu steeds meer steden en gemeenten worden getransformeerd tot smart cities, doen overheden en bedrijven steeds vaker een beroep op big data en algoritmen om menselijk gedrag te monitoren, kwantificeren, voorspellen en bij te sturen.

Migranten, minderheden, armen en gestigmatiseerde groepen worden stelselmatig door algoritmen benadeeld.

Dit nieuwe ‘data-regime’ heeft volgens politiek wetenschapper Virginia Eubanks ingrijpende maatschappelijke gevolgen, in het bijzonder voor minderheden. In haar boek Automating inequality beschrijft ze aan de hand van schrijnende voorbeelden op welke manier migranten, minderheden, armen en gestigmatiseerde groepen stelselmatig door algoritmen worden benadeeld. Omdat zij intensiever worden gemonitord dan sociaal-economisch bevoordeelde groepen, is er meer data over hen beschikbaar waarmee Amerikaanse overheden en bedrijven een regime van surveillance, risicoprofilering en uitsluiting hanteren.

We zijn geneigd om te denken dat in Amerika alles groter en erger is, maar ook hier algoritmiseren lokale overheden, bedrijven en werkgevers er uitbundig op los. Van welke problemen kunnen we leren om te voorkomen dat ook hier ongelijkheid wordt geautomatiseerd?

Algoritmen in de polder

Technologie ethici waarschuwen voor de toenemende inmenging van grote techbedrijven in steden: “Building the smart urban future cannot also mean paving the way for tech billionaires to fulfill their dreams of ruling over cities. If it does, that’s not a future we should want to live in”, aldus tech-ethicus Jathan Sadowksi.

Zijn waarschuwing werd actueel naar aanleiding van het ontslag van privacy-expert Ann Cavoukian bij het Google smart city project in Toronto. In haar ontslagbrief staat dat ze graag had willen meebouwen aan een ‘smart city of privacy’ in tegenstelling tot de ‘smart city of surveillance’ die Google daar nu aan het bouwen is.

Met de gedeelde kennis tussen bedrijfsleven en overheid worden ingrijpende surveillance-systemen ontwikkeld.

In Nederland maken lokale overheden zich geen zorgen over deze inmenging. Vorige maand werd bekend dat Universiteit Utrecht gaat samenwerken met Google om luchtvervuiling te meten. Voor het oplossen en in kaart brengen van maatschappelijke problemen maken kennisinstituten en overheden zich steeds meer afhankelijk van tech-giganten, terwijl deze bedrijven publieke waarden als autonomie, inclusiviteit en privacy aan hun laars lappen.

Met de vervagende grenzen en gedeelde kennis tussen privésector, bedrijfsleven en overheid, worden steeds ingrijpendere surveillance-systemen ontwikkeld. In Kerkrade voorspellen algoritmen welke straten kans hebben op eenzaamheid en depressies, en in Almere, Dordrecht en Zwijndrecht selecteren algoritmen straten met een verhoogd risico op leefbaarheidsproblemen op basis van gegevens over werkloosheid, inkomen, eenoudergezinnen, vroegtijdig schoolverlaters, 65-plussers en koopkracht. Wijkagenten fileren de rijkere wijken er op voorhand al uit.

Een ander voorbeeld is Roermond, waar de gemeente samenwerkt met de politie en TU Eindhoven om Oost-Europese dieven te pakken voordat ze toeslaan. Camera’s met kentekenherkenning registreren auto’s op weg naar het winkelcentrum, wifi-trackers detecteren telefoons van eerder betrapte zakkenrollers en met objectherkenning wordt vastgesteld hoeveel mensen in een auto zitten.

Algoritmische voorspellingen waarschuwen de politie tijdig: signaleert het systeem een Roemeense auto? Tien punten. Rijdt de auto naar het winkelcentrum? Tien punten erbovenop, beschrijft criminoloog Marc Schuilenburg in zijn kritische column over de werkwijze in Roermond. Zelfs de looproutes van het winkelend publiek worden gevolgd, als deze afwijken van de looproute van een ‘gemiddelde’ bezoeker levert dat verdachtheidspunten op.
 

Bron: NOS

Ook gezondheidsdiensten zijn aan het algoritmiseren geslagen, bijvoorbeeld met een algoritme dat voorspelt welke huishoudens een verhoogd risico zouden hebben op kindermishandeling.

Net als in Amerika, zijn het vooral sociaal-economisch lagere klassen en achterstandswijken die aan algoritmische screening worden onderworpen. Sociaal-economisch bevoordeelden worden niet alleen minder intensief gemonitord, ze kunnen ook een beroep doen op technologische snufjes die hun bevoorrechte positie versterken.
Zo komt binnenkort een navigatiesysteem op de markt waarmee Mercedes-Benz rijders criminele en ‘gevaarlijke’ wijken automatisch kunnen vermijden.

Predictive problems

Tot op heden is toezicht op dit type voorspellende systemen slecht geregeld. Vorig jaar sleepten burgerrechtenorganisaties de overheid nog voor de rechter vanwege een gebrek aan toezicht op het Systeem Risico Indicatie (SyRI) dat met algoritmen op zoek gaat naar patronen in data om risicogedrag bij burgers te voorspellen. Burgers weten niet welke gegevens het systeem gebruikt, wie de gegevens te zien krijgen, wat iemand tot een risicogeval maakt en of de gebruikte gegevens juist zijn. De rechtszaak loopt nog.

Niet wat jij doet bepaalt hoe de overheid naar jou kijkt, maar een voorspelling over wat jij van plan zou kunnen zijn, terwijl die voorspelling lang niet altijd klopt.

SyRI kwam opnieuw in het nieuws toen bleek dat het algoritmische systeem valse positieven genereerde waardoor inwoners van Capelle aan den IJssel ten onrechte werden verdacht van criminaliteit.

Dat algoritmen verkeerde verbanden leggen is een structureel probleem, ze meten namelijk geen causaliteit maar correlatie: het tegelijk voorkomen van twee of meerdere verschijnselen. Als dat maar vaak genoeg gebeurt, gaat het algoritme er vanuit dat er een relatie is en neemt hij deze in het vervolg altijd mee in zijn berekening. Of de relatie er ook echt is en hoe die tot stand is gekomen valt niet te achterhalen, terwijl dit voor mensen die met een verkeerde algoritmische voorspelling te maken krijgen juist de belangrijkste informatie is.

© Bron: algorithmwatch
Werking van Systeem Risico Indicatie (SyRI)

Behalve het leggen van verkeerde verbanden zijn er nog andere fundamentele problemen wanneer algoritmen worden ingezet om criminaliteit en risicogedrag te voorspellen: niet wat jij doet bepaalt hoe de overheid naar jou kijkt, maar een voorspelling over wat jij van plan zou kunnen zijn, terwijl die voorspelling lang niet altijd klopt. De gegevens die jij via jouw digitale en analoge voetsporen achterlaat zeggen niet altijd iets over jouw toekomstige keuzes en gedragingen.

Daarnaast kunnen vooroordelen over crimineel en afwijkend gedrag worden versterkt. Zo beschrijft het wetenschappelijke rapport Boeven vangen:

De politie creëert door de dominante manier van kijken (profileren) een werkelijkheid (bepaalde bevolkingsgroepen zijn meer crimineel dan andere) die zij bevestigt op basis van data die het resultaat zijn van die dominante manier van kijken en daaruit voortvloeiende werkelijkheid, en dat leidt weer tot een verdere eenzijdigheid in de manier van kijken.

Een algoritmisch model kan op die manier werken als een voorspelling die zichzelf waarmaakt.

Hogeschool voor de Kunsten Utrecht maakte deze video over het CAS-systeem waarmee op basis van algoritmen criminaliteit wordt voorspeld.

Algoritmische surveillance beperkt zich niet tot het domein van de maatschappelijk werkers en boevenvangers. De veiligheidssector is aan het versmelten met de marketingsector waardoor we ook tijdens het winkelen in de smiezen worden gehouden.

In Amerika worden klanten die binnenlopen bij dure winkelketens bijvoorbeeld gescand door camera’s met gezichtsherkenning. Het personeel krijgt een seintje als een ‘high value customer’ binnenloopt waarna zij op basis van data over eerder koopgedrag de klant adviseren.

De ruimte om onze identiteit te herdefiniëren wordt ingeperkt.

Bedrijven menen op basis van eerder koop- kijk, en klikgedrag te kunnen voorspellen wat consumenten willen. Maar ook hier werken algoritmische voorspellingen als een selffulfilling prophecy. Als ik de suggesties van bol.com of Netflix opvolg betekent dat niet dat zij weten wat ik wil, het betekent dat zij mijn suggestielijst hebben ingeperkt en daarmee mijn keuzes konden sturen.

Algoritmen pinnen ons vast op een aantal kenmerken op grond waarvan wij vervolgacties, suggesties en informatiestromen krijgen opgelegd. Daardoor worden we doorlopend op onze oude identiteit aangesproken, en wordt de ruimte om onze identiteit te herdefiniëren ingeperkt. Daarnaast verliezen we onderlinge verschillen uit het oog doordat algoritmen ons benaderen op basis van groepskenmerken. Ook hier worden mensen die afwijken van de meerderheid nadeliger getroffen; zij worden in datacategorieën geplaatst die niet bij hun identiteit passen en hun afwijkende profiel leidt sneller tot een risicoprofiel.

Zolang overheden en bedrijven mensen achtervolgen met hun digitale voetsporen en daaruit afgeleide conclusies zonder dat zij dit weten, is hun privacy niet gewaarborgd. Privacy gaat immers over meer dan gegevensbescherming. Namelijk over de mogelijkheid om je te onttrekken aan oneerlijke, onzichtbare algoritmen die jouw keuzes en kansen in het leven beïnvloeden, en over de mogelijkheid om je identiteit te herdefiniëren.

Opgejaagd door cijfers op het werk

Als marketeers, boevenvangers en overheden niet over onze schouders meekijken, zijn het wel de werkgevers. Uit onderzoek van Investico blijkt dat ASR, ING, McKinsey, Zeeman, gemeente Den Haag en Havenbedrijf Rotterdam gedetailleerde gegevens verzamelen over de gemoedstoestand, gezondheid en bevlogenheid van hun personeel.

Overheden, bedrijven en werkgevers vinden het wel handig dat algoritmen de werkelijkheid reduceren tot zwart-wit tegenstellingen.

Volgens werkgevers hebben werknemers baat bij het monitoren van hun prestaties, werkgeheugen en stressniveau omdat het zou leiden tot een efficiëntere manier van werken.

Het verhaal van Ellen die bij postNL wordt opgezadeld met een werk-app die haar overal volgt, geeft een aardig beeld van deze zogenaamde efficiëntie. Algoritmen berekenen hoe lang ze over haar wijk mag doen en stippelen de routes uit die ze verplicht moet lopen. De app stuurt haar door smalle steegjes waar haar tassen niet doorheen passen, houdt geen rekening met overgebleven post of zware weersomstandigheden, en de wegtikkende minuten in het scherm jagen haar op waardoor ze minder goed op het verkeer let.

Dat het kwantificeren en beoordelen van prestaties in een werk-app kan leiden tot onveilige verkeerssituaties weten we sinds Uber-chauffeur Jasmin M. een 22-jarige fietser dood reed. De familie van het slachtoffer houdt Uber verantwoordelijk voor het ongeluk omdat de Uber-app chauffeurs zou aanmoedigen om zo lang mogelijk door te blijven rijden en constant actief te blijven op de app om nieuwe klanten te werven. Dat zou verkeersonveilige situaties veroorzaken.

Een andere reden waarom het monitoren van werknemers slecht uitpakt is dat de gebruikte algoritmische modellen aan alle kanten rammelen. De modellen zijn niet wetenschappelijk gefundeerd en onderhevig aan ernstige vormen van bias. Volgens het Investico onderzoek gaat het de meeste werkgevers dan ook helemaal niet om kloppende cijfers. Voor hen zijn data slechts een breekijzer om ontslagen makkelijker te maken of een tool om indrukwekkende kwartaalcijfers te laten zien.

Welk algoritmisch oordeel staat ons te wachten?

Dat menselijk gedrag bestaat uit een complex samenspel van variabelen die onmogelijk allemaal in algoritmische formules passen, vergeten overheden, bedrijven en werkgevers maar al te graag. Zij vinden het wel handig dat algoritmen de werkelijkheid reduceren tot overzichtelijke zwart-wit tegenstellingen en lijden niet onder de gevolgen van deze algoritmische simplificaties.

Voor iedereen die wil weten welk algoritmisch oordeel ons te wachten staat én hoe we hiertegen in verzet kunnen komen sprak Virginia Eubanks op 16 januari in TivoliVredenburg over de sociale gevolgen van voorspellende algoritmen. Zorgt deze technologie voor een nieuwe verdeling in de samenleving, gebaseerd op algoritmische risicoprofielen?

De Privacyrede met Virginia Eubanks werd georganiseerd door SETUP en SURF, in samenwerking met TivoliVredenburg.