Deze organisaties maken kans op een Levende Mussen Award

Deze organisaties maken kans op een Levende Mussen Award
© Tom Schouw
5 mrt

Deze organisaties maken kans op een Levende Mussen Award

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze doet promotie-onderzoek naar authenticiteit en de vraag hoe kunstmatige intelligentie de afstand tussen mensen en machines verkleint.

Vorige week maakten SETUP en Open State Foundation de nominaties voor de Black Box Award en de Dode Mussen Award bekend. Omdat het niet alleen maar kommer en kwel is, hebben we ook een Glass Box Award en een Levende Mussen Award klaarstaan.

Organisaties wapperen graag met hun PR-vlag als technologische misstappen aan het licht komen. Hoewel hun excuses en beloften lang niet altijd tot de nodige verandering leiden, zijn er ook organisaties die leren van hun fouten. Daarom heeft SETUP naast de Dode Mussen Award ook een Levende Mussen Award klaarstaan.

De award is een aanmoedigingsprijs voor organisaties die anticiperen op hun fouten en gaandeweg meer verantwoordelijkheid nemen voor de maatschappelijke impact van hun technologische systemen. De volgende drie organisaties zijn genomineerd:

1. Ministerie van VWS vanwege ontwikkelingsproces corona-app

Toen we vorig jaar aan het project Leven met Corona-apps begonnen, had niemand verwacht dat het ministerie van VWS in aanmerking zou komen voor een levende mus. Als een naïeve tech-solutionist, zette de overheid al haar kaarten in op een corona-app die ons uit de Lockdown moest halen. Deze wereldvreemde houding was minstens vijf dode mussen waard. Maar gelukkig werd het beter.

Beter ten halve gekeerd dan ten hele gedwaald.

Minister de Jonge riep bedrijven op om mee te denken over het ontwerp van de app. In een heuse appathon presenteerden zeven teams hun corona-app aan experts en publiek. Toen geen van de apps door de KPMG security-check heen kwamen, was de kritiek niet mals. Volgens VWS topambtenaar Erik Gerritsen werd de overheid in de pers "wekenlang voor gekke Henkie uitgemaakt”. In het FD uitte hij zijn zorg over het effect van de genadeloze kritiek die zij hebben ontvangen:

"We hebben het nooit als een fiasco ervaren, maar zijn tot onze enkels afgebrand. Terwijl het waanzinnig gaaf was om de appathon te houden. Pas op en wees milder in je oordelen, anders dwing je ons terug in onze schulp."

In de appathon zijn inderdaad fouten gemaakt en de kritiek was niet onterecht. Maar de lessen die de overheid daarbij leerde hebben wel degelijk bijgedragen aan het resultaat. Zo werden privacy- en burgerrechten organisaties gehoord en is bij het uiteindelijke ontwerp in ieder geval rekening gehouden met privacy.

Het democratische ontwikkelingsproces van de corona-app zou een eenmalige actie voor de bühne kunnen zijn; of de overheid een soortgelijk traject vaker zal toepassen is nog maar de vraag. Maar vanuit de mindset "beter ten halve gekeerd dan ten hele gedwaald" nomineert SETUP het Ministerie van VWS voor hun stap in de goede richting.

2. IBM vanwege stopzetten gezichtsherkenningssoftware

Steeds meer wetenschappers, waaronder professor Charton McIlwain en socioloog Ruha Benjamin, waarschuwen dat sociale ongelijkheid en racisme geen ‘foutjes in de software’ zijn, maar structureel zijn ingebed in onze technologieën. Onze computersystemen zijn gebaseerd op historische data van de meetbare meerderheid waardoor alles wat daar niet in past wordt benadeeld. Ook zijn veel systemen ontworpen om minderheden te criminaliseren. China gebruikt bijvoorbeeld gezichtsherkenningssoftware om de onderdrukte Oeigoeren te volgen en vervolgen.

De stop-actie is door critici weggezet als PR-stunt, maar IBM neemt ook structurele stappen.

Met de opkomst van de Black Lives Matter beweging is er meer aandacht voor institutioneel racisme, etnische bias en de grove mensenrechtenschendingen die met gezichtsherkenningssoftware plaatsvinden. De noodzaak om hier meer verantwoordelijkheid in te nemen is ook bij techbedrijven doorgedrongen. IBM maakte afgelopen zomer bekend dat zij stoppen met de doorontwikkeling en verkoop van gezichtsherkenningssoftware.

Hoewel de actie door critici werd weggezet als een PR-stunt die zou verbloemen dat zij vanwege financiële redenen met deze technologie stoppen, neemt IBM ook meer structurele stappen die we van harte toejuichen. Zo wegen zij ethische vraagstukken structureel mee in hun ontwerpprocessen. Wel blijft onbekend hoe die keuzes gemaakt worden. Om welke casussen gaat het, en hoe zwaar wegen de ethische vraagstukken mee in het uiteindelijke besluit? We zien hoe dan ook een stap in de goede richting bij het nemen van verantwoordelijkheid. Daarom nomineren we IBM voor een Levende Mussen Award

3. KPN vanwege oprechte excuses en vervolgstappen na 112 storing

KPN verzorgt al het telefoonverkeer naar de meldkamer van 112. Zelfs wanneer je 112 belt via een andere provider, wordt je telefoontje afgehandeld via KPN. Om die verbinding tot stand te brengen moet je oproep worden doorgeschakeld naar de meldkamer van 112. Maar door een probleem met de apparatuur kon de doorschakeling niet worden gemaakt. Gevolg: 112 was drie uur lang niet bereikbaar en drie mensen kwamen tijdens de storing om het leven.

Daar kwam bovenop dat er ook een storing was bij NL-Alert, waardoor bij veel KPN-klanten de meldingen niet aankwamen. Joost Farwerck COO en lid van de Raad van Bestuur van KPN kwam direct na het incident met oprechte excuses:

"Wij betreuren dat dit heeft kunnen gebeuren en bieden onze oprechte excuses aan, aan onze klanten en ook aan de Nederlandse samenleving. KPN gaat het incident grondig evalueren met een externe onafhankelijke partij, zodat de juiste conclusies getrokken kunnen worden. Want dit had niet mogen gebeuren."

Oprechte tech-excuses met concrete daden.

Of er ook excuses zijn aangeboden aan de nabestaanden is onbekend. KPN stelde in ieder geval verhoogde bewaking in om herhaling van misstappen te voorkomen en liet onderzoeken hoe de bereikbaarheid van 112 gewaarborgd kan worden. De aanbevelingen uit het onderzoeksrapport werden allemaal opgevolgd.

Het was relatief eenvoudig om dit technische probleem op te lossen zonder ingewikkelde ethische overwegingen. Maar KPN's oprechte tech-excuses werden opgevolgd met concrete daden, en dat is zeker een levende mussen nominatie waard.

Winnaars

De winnaars worden bekend gemaakt tijdens de SOS Tech Awards op 23 maart. Met deze awards moedigen SETUP & Open State Foundation overheden en bedrijven aan om open en transparant te zijn. Niet alleen over hun data en digitale processen, maar ook over hun fouten en de lessen die daaruit worden geleerd.

SOS Tech Awards 2021