Primeur: deze organisaties maken kans op een Dode Mussen Award

Primeur: deze organisaties maken kans op een Dode Mussen Award
© Tom Schouw
24 feb

Primeur: deze organisaties maken kans op een Dode Mussen Award

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze doet promotie-onderzoek naar authenticiteit en de vraag hoe kunstmatige intelligentie de afstand tussen mensen en machines verkleint.

SETUP en Open State Foundation reiken 23 maart de SOS Tech Awards uit: vier awards voor transparantie en verantwoordelijkheid in de digitale samenleving. De eerste nominaties zijn bekend: voor de Black Box Award en de Dode Mussen Award. Hierna volgen de nominaties voor een Glass Box Award en een Levende Mussen Award.

Bedrijven en overheden wapperen graag met hun PR-vlag als technologische misstappen aan het licht komen. Maar leiden hun excuses en beloften ook tot de nodige verandering?

Om dat te bepalen ontwierp SETUP de Dode-mussen-index. Hoe teleurstellender de aangeboden excuses en vervolgstappen, hoe meer de samenleving blij wordt gemaakt met een dode mus. De index kan oplopen van vijf dode mussen -totale ontkenning van het probleem- tot vijf levende mussen: erkenning van het probleem, een specifieke belofte én compensatie.

© Index voor tech-verantwoordelijkheid

Een dode mus is geen molensteen, maar een middel waarmee we overheden en bedrijven helpen om verantwoordelijkheid te nemen voor de maatschappelijke impact van hun technologische systemen. De volgende drie organisaties maken kans op een Dode Mussen Award:

1. De Nationale Politie vanwege proeftuinproject Sensing

In het Roermondse proeftuinproject Sensing deed de politie aan etnisch profileren met behulp van algoritmen. Camera’s met kentekenherkenning registreerden auto’s op weg naar het winkelcentrum, wifi-trackers detecteerden telefoons van eerder betrapte zakkenrollers en met objectherkenning werd vastgesteld hoeveel mensen in een auto zitten. Algoritmische systemen waarschuwden de politie: signaleerde het systeem een Roemeense nummerplaat? Dan kreeg de auto extra verdachtsheidspunten. Amnesty International deed onderzoek naar het project en noemde het “de automatisering van etnisch profileren”.

Als er meer politie-capaciteit is, kan een soortgelijk discriminerend project opnieuw worden opgetuigd.

Begin dit jaar werd het project stopgezet. Niet vanwege voortschrijdend inzicht, maar omdat het systeem geen succesvolle opsporingen opleverde en omdat de politie te weinig capaciteit had om de algoritmische uitkomsten te interpreteren en op te volgen. Het Sensing project heeft op deze manier de weg vrijgemaakt voor soortgelijke projecten. De politie is in de veronderstelling dat als er wel voldoende capaciteit is, een soortgelijk discriminerend project nog steeds door de beugel kan. Onder het mom van “een innovatieve proeftuin” nemen zij geen verantwoordelijkheid voor de maatschappelijke impact van hun opsporingssysteem. Daarom nomineert SETUP de Nationale Politie voor de Dode Mussen Award.

2. Het ministerie van Justitie en Veiligheid vanwege Super SyRI 

Vorig jaar sprak de rechtbank een verbod uit op Systeem Risico Indicatie (SyRI). Het systeem koppelde duizenden gegevens aan elkaar om te bepalen of jij een “risicoburger” bent die mogelijk fraude gaat plegen. Burgers werden ten onrechte als potentiële criminelen aangemerkt, en het systeem discrimineerde omdat alleen armere wijken gescreend werden.

Er worden geen lessen getrokken uit het SyRI debacle.

Toen de rechtbank een verbod op het systeem uitsprak, hoopte iedereen dat dit zou leiden tot handelen op basis van voortschrijdend inzicht. Tamara van Ark beloofde als toenmalig verantwoordelijk minister in een Kamerbrief dat zij “lering wil trekken uit het instrument SyRI”. Maar in plaats daarvan stemde de Tweede Kamer in met een wet waarmee overheden en private partijen op nog grotere schaal data kunnen delen en verwerken. Daarmee worden nu meer ingrijpende risico-indicatie systemen opgetuigd. De wet krijgt daarom de bijnaam Super SyRI. Inmiddels zijn al vier verschillende risico-indicatie systemen opgetuigd waaraan doorlopend nieuwe organisaties toegevoegd kunnen worden. Omdat er geen lessen worden getrokken uit het SyRI debacle, nomineert SETUP het ministerie van Justitie en Veiligheid voor de Dode Mussen Award.

3. De GGD vanwege haar omgang met herhaaldelijk falende ICT-beveiliging                    

De exportfunctie in het systeem van de GGD maakte het bijna een jaar lang mogelijk om lijsten met geteste personen te downloaden en door te sturen. Daardoor lagen de coronatest-gegevens en bron- en contactonderzoek gegevens van ruim 5 miljoen Nederlanders op straat. Zij lopen daardoor meer risico op identiteitsfraude en oplichting. Naast adressen en bsn-nummers, hadden medewerkers toegang tot informatie over medische aandoeningen en zwangerschappen.

"Tegen een datamisdrijf is geen kruid gewassen."

Medewerkers hadden de GGD meermaals gewaarschuwd voor de fraudegevoelige exportfunctie. Een week later ging het wéér mis: de beveiliging van coronatest.nl was lek waardoor de gegevens van miljoenen mensen die zich bij de GGD hadden laten testen onvoldoende beschermd waren. In plaats van verantwoordelijkheid te nemen voor de falende ICT-beveiliging en alle genegeerde waarschuwingen, probeerden de GGD en Hugo de Jonge zich te verschuilen achter het excuus dat tegen een datamisdrijf "geen enkel kruid gewassen is."

"Tegen een misdrijf is geen kruid gewassen, maar hier had wel meer kruid tegen gewassen geweest."

Ook verscholen zij zich achter het excuus van “pandemie haast”. Daarom nomineert SETUP de GGD voor de Dode Mussen Award.

Levende mussen

Onze levende mussen zijn nog onderweg. Volgende week maken we bekend welke organisaties kans maken op een Levende Mussen Award.

De winnaars worden bekend gemaakt tijdens de SOS Tech Awards op 23 maart. Met deze awards moedigen SETUP & Open State Foundation overheden en bedrijven aan om open en transparant te zijn. Niet alleen over hun data en digitale processen, maar ook over hun fouten en de lessen die daaruit worden geleerd.

SOS Tech Awards 2021