Systeem Risico Indicatie: sorry voor de pauper-parameters

Systeem Risico Indicatie: sorry voor de pauper-parameters
5 feb

Systeem Risico Indicatie: sorry voor de pauper-parameters

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze onderzoekt de betekenis van authenticiteit, autonomie en imperfectie in de context van opkomende digitale technologieën.

Systeem Risico Indicatie (SyRI) ontving vorige maand een Big Brother Award. Het systeem werkt met geheime algoritmen, stigmatiseert arme groepen en verdenkt burgers ten onrechte van criminaliteit. Vandaag oordeelde de rechtbank dat SyRI een te grote inbreuk maakt op ons privéleven en verboden moet worden.

SyRIeuze algoritmen

De algoritmen van SyRI zoeken naar patronen in data en geven aan of er een verhoogde kans is op uitkeringsfraude, belastingfraude of het niet naleven van arbeidswetten.

Toen het ministerie van Sociale Zaken en Werkgelegenheid het systeem in 2014 officieel invoerde kraaide er geen haan naar. Een efficiënt systeem dat uitkeringsfraudeurs opspoort en aanpakt, hell yeah! Maar bij de invoering werd niet bekend gemaakt dat de wet toestaat dat enorme hoeveelheden gegevens gebruikt mogen worden:

  • Arbeidsgegevens
  • Gegevens over bezittingen
  • Woon- en verblijfsgegevens
  • Zorgverzekeringsgegevens
  • Bedrijfsgegevens
  • Re-integratiegegevens
  • Gegevens over ontheffingen en vergunningen
  • Boetegegevens
  • Toeslagen- en subsidie gegevens
  • Onderwijsgegevens
  • Inburgeringsgegevens
  • Schuldenlastgegevens

SyRI koppelde deze gegevens aan elkaar om 'risicoburgers' te onderscheiden. Als er sprake was van een verhoogd risico op wetsovertredingen, dan werd je opgenomen in het Register Risicomeldingen.

Niemand weet wie de gegevens te zien hebben gekregen, wat iemand tot een risicogeval maakte en of de gebruikte gegevens juist waren. Op deze manier konden burgers zonder het te weten op een risicolijst belanden die voor vele overheidsinstanties toegankelijk was. Heb je onlangs die vergunning of nieuwe identiteitskaart niet gekregen? Misschien omdat de algoritmen van SyRI je in het Register Risicomeldingen plaatste op basis van dubieuze data analyses.

Ten onrechte verdacht

Het systeem kwam in opspraak toen bleek dat inwoners van Capelle aan den IJssel ten onrechte werden verdacht van criminaliteit.

Niet wat jij doet bepaalt hoe de overheid naar jou kijkt, maar een voorspelling over wat jij van plan zou kunnen zijn, terwijl die voorspelling niet altijd klopt.

Dat algoritmen verkeerde verbanden kunnen leggen is een bekend probleem, ze meten namelijk geen causaliteit maar correlaties: het tegelijk voorkomen van twee of meerdere verschijnselen. Als dat maar vaak genoeg gebeurt, gaat het algoritme er vanuit dat er een relatie is en neemt hij deze in het vervolg mee in zijn berekening.

Of de relatie er ook echt is en hoe die tot stand is gekomen valt niet te achterhalen, terwijl dit voor mensen die met een verkeerde algoritmische voorspelling te maken krijgen juist de belangrijkste informatie is.

Een ander fundamenteel probleem bij algoritmische risicoprofilering is dat niet wat jij doet bepaalt hoe de overheid naar jou kijkt, maar een voorspelling over wat jij van plan zou kunnen zijn. Terwijl die voorspelling lang niet altijd klopt. De gegevens die jij via jouw digitale en analoge voetsporen achterlaat, zeggen niet altijd iets over jouw toekomstige keuzes en gedragingen.

Het systeem kwam opnieuw in opspraak toen aan het licht kwam dat SyRI niet één fraudegeval succesvol heeft opgespoord.

Pauper-parameters

Het grootste bezwaar tegen SyRI is dat door de koppeling van datasets en geheime algoritmen arme buurten werden gestigmatiseerd en personen tot verdachten werden gemaakt zonder dat zij daartegen in verweer konden komen.

Politiek wetenschapper Virginia Eubanks deed uitgebreid onderzoek naar stigmatisering en algoritmen. In haar boek Automating inequality beschrijft ze aan de hand van schrijnende voorbeelden op welke manier financieel kwetsbare groepen en migranten stelselmatig door risicoprofilering algoritmen worden benadeeld.

Arme buurten en financieel kwetsbare groepen worden intensiever gemonitord dan sociaal-economisch bevoordeelde groepen.

Omdat deze groepen intensiever worden gemonitord dan sociaal-economisch bevoordeelde groepen, zijn er meer data over hen beschikbaar waarmee Amerikaanse overheden en bedrijven een regime van surveillance en criminalisering hanteren.

Het gebruik van dit type systemen heeft er zelfs al voor gezorgd dat minderheidsgroepen helemaal niet meer ingesloten willen worden. Met de boodschap ‘Please Don’t Include Us’ organiseerden Harvard studenten begin dit jaar een workshop waarin zij hun zorg uiten dat algoritmische insluiting zal leiden tot systemen die sociaal-economische onderklassen criminaliseren.

Met de komst van SyRI ontstond ook in Nederland ophef over de oneerlijke effecten van algoritmische risicoprofilering. Zo werd afgelopen zomer een project met SyRI in Rotterdam stopgezet omdat het systeem ten onrechte burgers in arme buurten aanmerkte als risicogeval:

TV Rijnmond

VN-rapporteur Philip Alston uitte felle kritiek op Systeem Risico Indicatie.

Ook Philip Alston, VN-rapporteur voor extreme armoede en mensenrechten, uitte onlangs felle kritiek op het systeem. Hij waarschuwde dat vooral sociaal-economisch zwakkere wijken tot doelwit worden gemaakt en dat er een surveillancestaat zou ontstaan:

"De privacy van hulpbehoevende burgers lag van oudsher al onder vuur vanwege ingrijpende controles en screenings die ze moesten ondergaan om in aanmerking te komen voor bijstand. Met systemen als SyRI dreigt voor deze burgers echter een technologische surveillancestaat te worden gecreëerd waarin van het recht op privacy weinig meer dan een illusie overblijft."

Meer dan een sorry waard

FNV, Privacy First, Stichting Platform Bescherming Burgerrechten, Nederlands Juristencomité voor de Mensenrechten, Stichting KDVP,  Landelijke Cliëntenraad en schrijvers Tommy Wieringa en Maxim Februari spanden met succes een rechtzaak aan tegen de staat.

Vandaag oordeelde de rechtbank dat SyRI in strijd is met het Europees Verdrag voor de Rechten van de Mens. De rechtbank in Den Haag verklaarde:

"Er is haast geen persoonsgegeven te bedenken dat niet voor verwerking in aanmerking komt. Het risicomodel kan in de huidige vorm onbedoelde stigmatiserende en discriminerende effecten hebben. Bovendien is de manier waarop het systeem werkt niet te controleren."

Het voorkomen en bestrijden van fraude via SyRI staat volgens de rechters niet in verhouding tot de inbreuk op het privéleven.

Hoe zeg je effectief sorry voor een surveillance-systeem dat arme buurten en financieel kwetsbare groepen stelselmatig heeft benadeeld?

De uitspraak van de rechtbank is goed nieuws. Toch moeten we er alert op blijven dat gemeenten, overheidsdiensten en bedrijven geen nieuwe SyRI's optuigen.

Ook is het onterecht aanmerken van burgers als risicogeval meer dan een sorry waard. Maar hoe zeg je effectief sorry voor een surveillance-systeem dat arme buurten en financieel kwetsbare groepen stelselmatig heeft benadeeld?

Door burgers hun afgeleide data terug te geven? Door in gesprek te gaan met slachtoffers? Misschien hebben we een plek nodig waar we het SyRI debacle kunnen herdenken en ervoor kunnen waken dat dit niet opnieuw gebeurt. Het is hoog tijd voor:

De dot-sorry revolutie