SyRIeuze algoritmen

SyRIeuze algoritmen

Magazine

Het Systeem Risico Indicatie (SyRI) waarschuwt de overheid als jij je ‘afwijkend’ gedraagt. Hoe kunnen we ons wapenen tegen moraliserende algoritmen zoals SyRI? Top story


Siri Beerends vrijdag 26 januari 2018
Inhoud: 

Dit jaar onderzoekt SETUP hoe we de macht van moraliserende algoritmen eerlijker kunnen verdelen. Dat is hard nodig want overheden en bedrijven maken steeds meer gebruik van profilingsalgoritmen.

Ken je SyRI al?

Nee? Maar SyRI kent jou misschien wel. Het Systeem Risico Indicatie maakt onderscheid tussen modelburgers en risicoburgers op basis van geheime algoritmen en persoonsgegevens. De algoritmen van SyRI zoeken naar patronen in data en kunnen bijvoorbeeld aangeven of er verhoogde kans is op belastingfraude of het niet naleven van arbeidswetten. Toen het ministerie van Sociale Zaken en Werkgelegenheid het systeem in 2014 officieel invoerde kraaide er geen haan naar. Een efficiënt systeem dat uitkeringsfraudeurs opspoort en aanpakt, hell yeah.

Bij de invoering werd niet bekend gemaakt dat de wet toestaat dat enorme hoeveelheden gegevens gebruikt mogen worden: arbeidsgegevens, gegevens over bezittingen, woon- en verblijfsgegevens, zorgverzekeringsgegevens, bedrijfsgegevens, re-integratiegegevens, gegevens over ontheffingen en vergunningen, boetegegevens, toeslagen- en subsidie gegevens, onderwijsgegevens, inburgeringsgegevens en schuldenlastgegevens. SyRI koppelt deze aan elkaar om 'risicoburgers' te kunnen onderscheiden. Is er sprake van een verhoogd risico op wetsovertredingen, dan wordt je opgenomen in het Register Risicomeldingen. Op deze manier kunnen allerlei gegevens tegen je gebruikt worden en kun je zonder het te weten op een risicolijst belanden die voor vele overheidsinstanties toegankelijk is. Heb je onlangs die droombaan, lening, vergunning of nieuwe identiteitskaart niet gekregen? Misschien hebben de algoritmen van SyRI je in het Register Risicomeldingen geplaatst op basis van data analyses die niet inzichtelijk zijn. Niemand weet welke gegevens het systeem selecteert, welke analyses het systeem uitvoert, wie de gegevens te zien krijgen, wat iemand tot een risicogeval maakt en of de gebruikte gegevens juist zijn.

Wie geen fraudeur is en daardoor denkt niets te verbergen te hebben komt bedrogen uit. Zolang je niet weet op welke manier en voor welke doeleinden jouw data gebruikt worden, kun je niet afwegen of je iets te verbergen hebt. De algoritmen van SyRI zijn ontransparant en moraliserend over afwijkend gedrag. De risicoprofilering van onverdachte Nederlanders is volgens burgerrechten organisaties dan ook in strijd met het Europees Verdrag voor de Rechten van de Mens. Daarom slepen zij deze maand de Nederlandse staat voor de rechter.

Als we ons beter willen wapenen tegen profilingsalgoritmen zoals SyRI is alleen het aanpassen van de wet niet genoeg.

Volgens juridische experts is onze huidige rechtsstaat onvoldoende ingericht om computergestuurde bureaucratieën te controleren en corrigeren. We hebben middelen nodig waarmee we de macht van moraliserende algoritmen inzichtelijk en tastbaar kunnen maken en eerlijker kunnen verdelen. Komend jaar ontwikkelt SETUP daarom in samenwerking met kunstenaars, experts en vormgevers ‘Civil Weapons of Math Retaliation’ waarmee we ons kunnen wapenen tegen automatische beslissingen door algoritmen van overheden en bedrijven. Lees hier meer over het project.