Meningen verpakt in code

Meningen verpakt in code

Magazine
© SETUP / Dongwei

Met haar boek Weapons of Math Destruction zette wiskundige Cathy O’Neil algoritmische rechtvaardigheid internationaal op de agenda. In november 2017 sprak ze voor het eerst in Nederland. Top story


Xander Bouwman donderdag 28 december 2017
Inhoud: 

Met haar boek Weapons of Math Destruction zette wiskundige Cathy O’Neil algoritmische rechtvaardigheid internationaal op de agenda. In november sprak ze voor het eerst in Nederland, als gast van SURF, Studium Generale en SETUP.

Wij waren trots deze grensverleggende denker te ontvangen in Utrecht. En met ons 500 anderen: de lezing in TivoliVredenburg was ruim van tevoren uitverkocht. Het is niet vaak dat de uitdrukking ‘warme broodjes’ van toepassing is op toegangsbewijzen voor de lezing van een wiskundige.

De lezing van Cathy O’Neil was voor stichting SETUP de aftrap van een onderzoek naar oneerlijke algoritmes dat een jaar zal duren. In 2018 denken we na over Civil Weapons of Math Retaliation. Deze manieren van verzet geven we vorm in lezingen, workshops en installaties.

Mysterieus, wijdverspreid en destructief
Was jouw laatste sollicitatiegesprek met een mens of met een formulier? Cathy O’Neil vertelde over sollicitatiesystemen die werkgevers in de VS gebruiken om sollicitanten te selecteren. Als je wil werken bij een fastfoodketen dan vul je verplicht een vragenlijst in met vragen over jouw persoonlijke afwegingen in hypothetische situaties: een collega komt te laat op zijn werk, vertel je het aan je manager?

De vragenlijst blijkt achteraf een persoonlijkheidstest, waarmee aannames over jouw geschiktheid voor de functie worden gemaakt. Maar vaker nog hoor je niets over de resultaten van de test en wordt alleen te kennen gegeven dat de voorkeur toch uit is gegaan naar iemand anders.

De fastfood-sollicitatie is een voorbeeld van een algoritme: een procedure om tot een besluit te komen. Cathy O’Neil kenmerkt zo’n algoritme als Weapon of Math Destruction (WMD) als hij voldoet aan drie criteria

Cathy O'Neil tijdens haar lezing in TivoliVredenburg

Ten eerste is een WMD mysterieus. Het gebruik van een algoritme blijft vaak impliciet. Zelfs als je er naar vraagt dan wordt de werking behandeld als bedrijfsgeheim. Zo kom je er haast nooit achter welke aannames er achter een score of keuze zitten en wordt het onmogelijk je er tegen te verzetten.

Ten tweede is een WMD wijdverspreid. “Algorithms are opinions embedded in code” zei Cathy O’Neil hier over. Iedereen doet wel eens terechte of onterechte aannames, iedereen heeft vooroordelen. Een algoritme legt deze menselijke eigenschappen vast in systemen die klein onrecht op grote schaal kunnen verspreiden.

Ten derde is een WMD destructief. Stel je voor dat de Universiteit Utrecht in 1918 haar selectie van studenten had verwerkt in een algoritme. Dan zouden vrouwen honderd jaar later nog steeds niet kunnen studeren. Zo leidt het gebruik van ondoorzichtige systemen die oneerlijke keuzes maken tot een nieuwe status quo.

Voldoet een procedure aan deze drie eigenschappen, dan is het volgens Cathy O’Neil een Weapon of Math Destruction. Ze beschreef zulke systemen onder andere voor de inzet van politiecapaciteit, het beoordelen onderwijzers, en het inschatten van de kans op criminele recidive in de VS. Maar door de allure van data-analyse zien we ze terug bij veel bedrijven en overheden. Het is dan ook een gedeeld probleem, volgens Cathy O’Neil: “Technicians are not acknowledging the values that are embedded in their systems”.

Ook in Nederland bestaan Weapons of Math Destruction. Op de grens van de wet stellen kredietbeoordelaars zwarte lijsten samen, zo waarschuwde de auteur van het onderzoek dat deze praktijken aantoonde in de Groene Amsterdammer die in het publiek zat.

Heb jij een praktijkvoorbeeld van een oneerlijk algoritme in Nederland? Laat het ons weten.

“We need to put the science into data-science” — Cathy O’Neil tijdens haar lezing op 21 november 2017

Handelingsperspectief
Oplossingen zoekt Cathy O’Neil in meerdere richtingen. Ze noemt een morele eed die ontwerpers van algoritmes af zouden moeten leggen, open alternatieven voor de huidige ondoorzichtige systemen, en onderzoekers die de werking van algoritmes gaan auditen. In deze laatste richting is ze zelf een onderneming gestart.

Drie Nederlandse experts spraken met Cathy O’Neil over hun ideeën handlingsperspectief bij oneerlijke algoritmes.

Universitair docent Mirko Tobias Schäfer ontwikkelde De Ethische Data Assistant, een methode voor besluitvormers in bedrijven en overheden om morele keuzes in het proces van data-analyse expliciet te maken. “We need to put the science into data-science”, zei Cathy O’Neil. Hiermee bedoelt ze dat wie data-analyse toepast ook moet erkennen dat dit niet waardenvrij kan blijven, en dat bètawetenschappers met een methode zoals De Ethische Data Assistent moeten leren samenwerken met alfa’s en gamma’s.

Research designer Julia Janssen bedacht de Bank of Online Humanity, een conceptueel ontwerp voor eigenaarschap van persoonlijke gegevens. Ze onderzoekt hoe data mensen ten goede kan komen. Zouden we een data-basisinkomen kunnen ontvangen als we eigenaar zouden zijn van onze gegevens?

Voormalig Kamerlid Astrid Oosenbrug betrekt met de Cyberwerkplaats jongeren met veel verschillende achtergronden bij technologische vragen rond beveiliging. Door een brede groep te laten meebeslissen bij het ontwerp van systemen kunnen we de aannames toetsen en vooroordelen in algoritmes beperken.

Van links naar rechts: moderator Bart Jacobs, Mirko Tobias Schäfer, Julia Janssen, Astrid Oosenbrug en Cathy O'Neil.

Er is geen silver bullet en oplossingen voor een goede omgang met data en algoritmen zullen we in veel verschillende richtingen moeten zoeken. Voor de wetgever is volgens Cathy O’Neil een belangrijke rol weggelegd. Om grenzen te stellen, maar ook om zelf het goede voorbeeld te geven.

Uit de zaal wordt gevraagd naar de nieuwe Europese dataprotectiewetgeving die mei 2018 in zal gaan. Deze bevat een artikel over geautomatiseerde besluitvorming. Volgens Cathy O’Neil gaat deze verordening dataprotectie nog niet ver genoeg: hoewel hij vereist dat er een persoon betrokken zal zijn bij een besluit, staat hij toe dat die persoon zijn keuze volledig baseert op een score uit een algoritme. Van een menselijke keuze hoeft daarom alsnog geen sprake te zijn.

Vragen uit het publiek tijdens de lezing.

Civil Weapons of Math Retaliation
Bezoekers van de lezing praten in TivoliVredenburg achteraf na. Informatiebeveiliger Pieter (25) vergelijkt het toetsen van algoritmes met zijn eigen werk: “Bij mij is een computersysteem veilig of niet veilig. Maar hoe audit je een algoritme, hoe herken je je eigen bias?”

Kunstenares Swaeny (22) denkt na over oplossingen: “Je zou een algoritme moeten kunnen ontvouwen: het bevat deze regels en deze constructies. Zo kun je het hele systeem overzien, het algoritme maar ook de context. IT’ers zouden samen met filosofen en kunstenaars na moeten denken over het ontwerp van algoritmes. Van zo’n groep zou ik graag deel uit maken.”

Stichting SETUP startte het Algoritmisch Historisch Museum om vragen op het grensvlak van technologie en cultuur tastbaar te maken. Komend jaar bouwen we hierop voort met het thema Civil Weapons of Math Retaliation: samen met de bezoekers van onze lezingen, workshops en installaties onderzoeken we manieren van verzet tegen oneerlijke algoritmes. Op deze website volgt binnenkort meer.