Weapons of Math Destruction

Weapons of Math Destruction

Magazine
© https://mathbabe.org/contact/

Cathy O'Neil pleit dat een partij moet opstaan om het voortouw te nemen in het debat rondom de maatschappelijke implicaties van algoritmes. Challenge accepted! Top story


Floris Koster woensdag 15 november 2017
Inhoud: 

Wiskundige Cathy O’Neil werkte een tijd lang in de financiële wereld tot de crisis uitbrak in 2008. De ervaringen die ze op Wall Street opdeed met onrechtvaardige algoritmes werden de aanleiding om het boek 'Weapons of Math Destruction' (2016) te schrijven. Het boek werd een wereldwijde bestseller. Op 21 november spreekt ze voor het eerst in Nederland over haar strijd tegen de formules die steeds meer ons leven bepalen.

Cathy O’Neil richt haar pijlen op de wiskundige modellen die een steeds grotere impact krijgen op het leven van de gewone mens. Het zijn modellen die op basis van data de kans berekenen dat je een goede werknemer zult zijn, een potentiële belastingontduiker, een crimineel of een financiële last voor een verzekeringsmaatschappij. De weapons of math destruction, zoals O’Neil ze noemt. De modellen waar meestal niemand wat van zegt, omdat ze gebaseerd zijn op ‘objectieve’ feiten en wiskunde die maar weinigen begrijpen. Ze zijn daarom een machtig wapen in de handen van de mensen die deze data in handen hebben. Als we niet uitkijken zullen ze de ongelijkheid in onze maatschappij alleen maar groter maken.

Setup meets Cathy O’Neil

Cathy O’Neil ziet als geen ander het probleem waar we bij SETUP tegen aanlopen. Het idee dat algoritmes pure wiskundige formules zijn is in principe niet fout. Algoritmes zijn inderdaad formules die data verwerken die zij geleverd krijgen. Toch is er meer aan de hand, want achter de vele algoritmes in onze slimme apparaten zitten morele voorkeuren verstopt.

Met O’Neil haar boek als aanleiding deden we met het Algoritmisch Historisch Museum een poging om af te rekenen met het idee dat algoritmes slechts pure wiskunde zijn. In ons fictieve museum plaatsen we de technologie van vandaag in een historische context, zoals Tinder in de jaren '50. Hoewel we kunnen discussiëren over allerlei details van algoritmes is het onderliggende probleem over het algemeen hetzelfde. En dat is dat we niet vaak niet stil staan bij het feit dat algoritmes uiteindelijk worden gemaakt door mensen met al hun verwachtingen, vooroordelen en opvattingen. Daarom is het ook niet meer dan logisch dat bepaalde ‘fouten’ of vooroordelen die in algoritmes gevat worden onvermijdelijk zijn. Een ramp? Niet direct. Maar wel reden genoeg om kritisch te blijven kijken naar onze eigen maaksels. Want uiteindelijk zou je kunnen zeggen dat huidige maatschappelijke ideeën gestold zijn in technologie, omdat ze bijvoorbeeld onze problemen moeten oplossen.

En nu?

Cathy O’Neil haar antwoord op het probleem uit zich in haar stichting genaamd ORCAA, die bedrijven helpt om te gaan met algoritmes zodat ze geen maatschappelijke schade veroorzaken.

Volgens O’Neil worden er steeds meer rechtszaken aangespannen tegen het gebruik van dubieuze algoritmes zoals persoonlijkheidstests die worden gebruikt voor risicomodellen die worden gebruikt voor veroordeling, voorwaardelijke vrijlating en borgtocht. En dit is volgens haar nog slechts het begin. ORCAA focust zich op twee aspecten. Ten eerste op bedrijven en organisaties die afhankelijk zijn van tijd- en kostenbesparingsalgoritmes en ze te helpen de golf van rechtszaken voor te zijn, door hun proces- en reputatierisico's te begrijpen en vooral om eerlijke algoritmes te gebruiken. Ten tweede op het ontwikkelen van rigoureuze methoden, hulpmiddelen en het stellen van strenge normen voor het nieuwe gebied van algoritmische auditing.

Maar in een artikel in de New York Times geeft ze toe dat er gewoonweg te weinig onderzoek wordt gedaan naar de maatschappelijke impact van algoritmes. Ze pleit dan ook dat een partij moet opstaan om het voortouw te nemen in dit onderzoek.

A institute should offer a series of workshops, conferences and clinics focused on the intersection of different industries with the world of A.I. and algorithms. These should include experts in the content areas, lawyers, policymakers, ethicists, journalists and data scientists. — Cathy O'Neil in de New York Times

Challenge accepted! Dat is precies waar we op 21 november mee zullen beginnen. In O’Neil haar lezing vertelt ze over de duistere zijde van big data en leert ze de juiste vragen te stellen wanneer je slachtoffer wordt van een algoritme. Maar bewust worden van het probleem is slechts stap één. We hebben een Nederlands antwoord nodig. Daarom spreekt Cathy O'Neil na haar lezing met Nederlandse experts in een panelgesprek over mogelijkheden waarop we algoritmes op een menswaardige wijze kunnen inzetten. Daarnaast doen we een poging om het publiek een kritische blik mee te geven over algoritmes.

We gaan in discussie met drie panelleden die in aanmerking komen met algoritmes vanuit drie verschillende perspectieven. Het eerste perspectief wordt vertegenwoordigt door politicus Astrid Oosenbrug. Vanuit haar perspectief worden problemen vaak opgelost door in de politiek maatregelen te vinden. Door bijvoorbeeld regels op te stellen of bepaalde zaken te verbieden. Mirko Tobias Schäfer van de Universiteit Utrecht en de Utrecht Data School vertegenwoordigt het perspectief van de mediawetenschapper. Vanuit zijn perspectief worden mensen veelal bewust gemaakt van maatschappelijke implicaties en hoe daarmee om te gaan. Ten slotte zal grafisch ontwerper Julia Janssen het laatste perspectief vertegenwoordigen. Ze won de Crypto Design Challenge 2016 met haar project Bank of Online Humanity. Vanuit haar perspectief kijkt ze naar manieren om algoritmes naar onze hand te zetten.

Door in discussie te gaan met Cathy vanuit deze drie perspectieven trekken we het debat breder en zullen we focussen op de mogelijkheden tot verzet tegen de algoritmisering van de Nederlandse samenleving.

© Jesse Kraal

Terugvechten: sneak peak naar 2018

En verzet zal er zijn. Niet alleen vanuit Cathy O’Neil, maar ook vanuit SETUP komend jaar. 2018 zal namelijk in het teken staan van Civil Weapons of Math Retaliation. Want kritisch kijken naar algoritmische processen is lang niet genoeg. Als overheden en bedrijven ‘weapons of math destruction’ kunnen inzetten, moeten burgers dat ook kunnen. Kortom, we hebben ‘civil weapons of math retaliation’ nodig. Niét om de macht van overheden te bevragen, maar om de schaduwzijde van die nieuwe controleapparaat te ontdekken en voor iedereen inzichtelijk te maken. Deze nieuwe verhalen en beelden zijn de munitie om een maatschappelijk debat te voeren. Om de ethische vraagstukken rond autonomie, discriminatie en menselijke waardigheid in automatische beslissingen aan te kaarten en invoelbaar te maken.

Bijwonen?

Deze lezing is gratis toegankelijk. Helaas zijn alle kaarten inmiddels gereserveerd. Mochten er nog kaarten beschikbaar komen, dan laten we dit weten op onze website en social media kanalen. De lezing zal plaatsvinden op 21 november om 20.00 uur in Tivoli Vredenburg. Meer info en tickets via: http://tivolivredenburg.nl/cathyoneil