Kick-off Civil Weapons of Math Retaliation

Kick-off Civil Weapons of Math Retaliation

Magazine
© SETUP / Jesse Kraal

De kop is eraf. Afgelopen weekend was de kick-off van ons jaarprogramma Civil Weapons of Math Retaliation. Top story


Siri Beerends vrijdag 16 februari 2018
Inhoud: 

Civil what?

Of het nu gaat om het opsporen van risicoburgers of het aannemen van een nieuwe collega, overheden en bedrijven maken steeds meer gebruik van automatische beslissingen door algoritmen. Een van de grootste misverstanden over algoritmen is dat ze ‘unbiased’ zijn en daardoor rechtvaardige beslissingen nemen.

Met deze mythe rekent wiskundige Cathy O’Neil af in haar bestseller Weapons of Math Destruction. Het boek heeft algoritmische rechtvaardigheid internationaal op de agenda gezet. In november sprak Cathy O’Neil voor het eerst in Nederland, als gast van SURF, Studium Generale en SETUP. De kern van haar boodschap is dat algoritmen vooroordelen en morele aannames bevatten waar we ons onvoldoende bewust van zijn. Algoritmen zijn meningen verpakt in code die ten onrechte de suggestie wekken dat ze nauwkeurige en objectieve beslissingen nemen. Ze kunnen een destructief effect hebben op de samenleving doordat ze ongelijkheid, vooroordelen en stereotypen op grote schaal verspreiden. Volgens O’Neil is een algoritme een ‘Weapon of Math Destruction’ wanneer hij voldoet aan drie criteria:

• Het algoritme is mysterieus: je weet niet welke morele aannames er achter de scores en keuzes van het algoritme zitten en kunt je daardoor niet tegen de beslissing van het algoritme verzetten.

• Het algoritme is wijdverspreid: in het algoritme zitten menselijke vooroordelen en aannames verwerkt. Het algoritme legt deze vooroordelen vast in systemen die vervolgens klein onrecht op grote schaal verspreiden.

• Het algoritme is destructief: de beslissingen van het algoritme hebben een onwenselijk effect op de samenleving. Neem bijvoorbeeld algoritmen die door bedrijven worden gebruikt om de beste CEO te kiezen. Omdat vrouwen ondervertegenwoordigd zijn als CEO, beschouwt het algoritme vrouw zijn als voorspellende factor om ongeschikt te zijn als CEO.

Ook in Nederland bestaan Weapons of Math Destruction. Vorige maand sleepten burgerrechten organisaties de Nederlandse staat nog voor de rechter vanwege de geheime profilingsalgoritmen van SyRI. Met behulp van juridische procedures en nieuwe wetten wordt getracht de oneerlijke effecten van moraliserende algoritmen een halt toe te roepen. Op 25 mei 2018 gaat de General Data Protection Regulation van kracht. De nieuwe wet gaat grotendeels over het veilig verzamelen en opslaan van data maar over het maken van beslissingen op basis van afgeleide data blijft de wet vaag.

Om ons te wapenen tegen de onwenselijke effecten van automated decision-making hebben we niet genoeg aan onduidelijke wetten en het recht op procederen.

Komend jaar ontwikkelt SETUP daarom in samenwerking met kunstenaars, vormgevers en experts Civil Weapons of Math Retaliation waarmee we de macht van moraliserende algoritmen tastbaar kunnen maken en eerlijker kunnen verdelen.

Civil who?

Aan de hand van vier ontwerpende projecten ontwikkelen we samen met Dirk van Weelden, Swen Mulderij, Milou Backx, Isabel Mager, Fako Berkers en Marieke Drost middelen waarmee burgers, werknemers en consumenten zich kunnen wapenen tegen onwenselijke vormen van automated decision-making vanuit overheden of bedrijven.

1. Ik wil niet klagen maar…

Elke Nederlandse gemeente kent ze wel, de zogenaamde ‘beroepsklagers’. Het zijn gepassioneerde juristen die er een sport van maken om aanvragen voor festival-, bouw- en omgevingsvergunningen tot op de puntkomma door te spitten en waar mogelijk bezwaar te maken. Beroepsklagers zijn vaak een doorn in het oog van stedelijke ontwikkeling en daarmee ook een effectief ‘civil weapon of math retaliation’.

Hoe zou beroepsklagen eruit zien als we de tactieken konden vangen in een AI? Is dat de toekomst van onze bureaucratie? Welke processen van besluitvorming willen we automatiseren? Het democratiseren van deze wapens dwingt tot een discussie over de wenselijkheid ervan. In dit project werken we samen met filosoof Dirk van Weelden en AI deskundige Swen Mulderij.

Dirk van Weelden is filosoof en schrijver. In 1987 debuteerde hij samen met Martin Bril met de klassieker Arbeidsvitaminen, het ABC van Bril&VanWeelden. Met de ideeënroman Tegenwoordigheid van geest debuteerde hij in 1989 solo. Hierna volgden verschillende romans en essays. In 2009 schreef hij het literaire logboek Een maand in Manhattan, gelijktijdig met de documentairereeks The New York Connection over Nederlandse sporen in het hedendaagse New York, waaraan hij meewerkte als verteller. In 1990 werd hij redacteur van Mediamatic, een internationaal tijdschrift voor kunst en nieuwe media. Voor onder andere NRC Handelsblad en Vrij Nederland schreef hij over kunst en literatuur. In 1992 ontving hij de Multatuliprijs voor zijn roman Mobilhome en in 1999 de Frans Kellendonkprijs voor zijn oeuvre tot dan toe. Sinds 1999 is hij redacteur van De Gids. Dirk volgt de maatschappelijke en culturele gevolgen van digitalisering al jaren:

"Nog veel leuker dan erover lezen en schrijven is samen met anderen iets maken dat werkt als een sociaal experiment, een interventie in het veld.
Ik kijk ernaar uit veel te leren en dingen uit te proberen die nieuw zijn en reacties en debatten oproepen over zaken die er voor ons allemaal toe doen: hoe onze levens worden toegeëigend door bedrijven en overheidsinstanties en hoe we ons daartegen kunnen verweren.”

Swen Mulderij studeerde Kunstmatige Intelligentie en houdt zich vooral bezig met zelflerende systemen en toepassingen van AI technieken. Hij deelt graag kennis en doceerde aan de Universiteit Utrecht, Utrecht Data School en StudentsInc. Hij wordt enthousiast van nieuwe technologieën wanneer daar potentieel in zit voor onderwijs.
Met zijn bedrijf Mindmingle ontwikkelt hij programmeeronderwijs voor scholen.
Swen doet mee aan Civil Weapons of Math Retaliation omdat hij graag samenwerkt met mensen uit sectoren die voor hem onbekend zijn:

"Ik hoor graag verschillende perspectieven. Daarnaast is dit een mooie kans om een breed publiek te onderwijzen.”

2. Reversed Predictive Policing

Deze maand is de politie een grootschalige wervingscampagne gestart voor honderden nieuwe IT'ers. Ze zijn nodig om aan te slag te gaan met verschillende vormen van 'predictive policing' waaronder het Criminaliteits Anticipatie Systeem (CAS). Het systeem maakt op basis van talloze gegevens digitale kaarten waarop te zien is waar een inbreker of straatrover waarschijnlijk zal toeslaan. Predictive policing staat ter discussie vanwege de vooroordelen en morele aannames die in de voorspellende algoritmen zitten verwerkt.

In hoeverre is het mogelijk om devices te ontwerpen die dezelfde voorspellende inzichten aan de burger geven? Als de politie gebruik mag maken van predictive policing, zouden wij dat ook mogen doen. Niet om machtsverhoudingen in twijfel te trekken, maar om de werking, gebreken en potentieel machtsmisbruik van deze systemen inzichtelijk en invoelbaar te maken.

In dit project werken we samen met kunstenaar Milou Backx. In haar werk onderzoekt ze de effecten van technologie door zich te onderwerpen aan eigen ontworpen systemen.
In 2017 won ze de HKU Prijs Gemeente Utrecht met haar werk ‘Artificial Dumbness’.
Ze ontwierp prototypes van apparaten waarin ze verschillende keuzes in haar leven overliet aan algoritmen en deze ook opvolgde. Zo stemde ze tijdens de Tweede Kamerverkiezingen van 2016 op de SGP, omdat haar apparaat dat voor haar bepaalde. Vervolgens ging ze op zoek naar redenen om deze keuze te rationaliseren. Haar werk illustreert hoe we algoritmische beslissingen rationaliseren, internaliseren en vervolgens minder in twijfel trekken. Milou werkt mee aan Civil Weapons of Math Retaliation omdat ze het belangrijk vindt dat onze autonomie beter wordt beschermd:

Door middel van data en algoritmes geven we steeds meer weg over identiteit en gedrag. Autoriteiten krijgen daardoor meer controle. 'We hebben niks te verbergen', maar ik denk dat gedrag en autonomie wel degelijk beschermd moeten worden. Ik vind het daarom belangrijk dat mensen zich kunnen wapenen. Het is interessant en uitdagend om te onderzoeken hoe ver je hierin kunt gaan en waar mogelijke ingangen en oplossingen liggen.”

3. Appellation Contrôlée

Steeds meer bedrijven kiezen ervoor om sollicitanten algoritmisch te laten screenen.
De industrie van AI recruitment is big business. Vorig jaar openden verschillende internationale recruitment techbedrijven een vestiging in Nederland, waaronder het Chinese Seedlink in Amsterdam. Een van de koplopers op het gebied van HR-software is HireVue. Het bedrijf heeft al 95 miljoen dollar opgehaald en werkt samen met grote bedrijven als Unilever en Goldman Sachs. Business Insider publiceerde onlangs een artikel dat een inkijkje geeft in hun software. Sollicitanten die eenmaal binnen zijn, blijven een onderwerp van algoritmische screening; er bestaat ook software om communicatie van medewerkers algoritmisch te analyseren en zo de ‘zwakke schakels’ te identificeren. Kortom, een 24/7 functioneringsgesprek waarbij het beslissingsalgoritme altijd over je schouder meekijkt.

De voordelen voor HR-afdelingen zijn duidelijk: het besparen van tijd en kosten, maar in hoeverre plukken sollicitanten hier de vruchten van? De belangrijkste technologieën die worden toegepast binnen HR software zijn profilering: het classificeren van individuen op basis van gegevens, en automatische besluitvorming: beslissingen door algoritmen zonder menselijke betrokkenheid. Beide problematisch vanwege hun discriminerende werking en versterking van ongelijkheden. Op welke manier lezen en classificeren HR algoritmen ons tijdens een sollicitatie? Welke data worden daarvoor gebruikt en uit welke periode komen deze data? Op welke manier kunnen we de autonomie teruggeven aan de sollicitant?

In dit project werken we samen met ontwerper Isabel Mager. In 2016 studeerde ze af aan de Design Academy Eindhoven. Haar werk laat onder meer zien welke systemen en mechanismen schuilgaan achter onze ontworpen materiële omgeving en welke paradoxen en hypocrisie in deze systemen zijn ingebouwd:

My interest lies in the oscillation of design between culture and structures of power. The designer is understood as translator of complexities into tangible form: a disrupter between systems that organise life (economies, technologies, policies, norms) and the participants of that life. I look at systems and mechanisms standing behind the designed material environment and aim to bring built-in paradoxes and hypocrisies to the front within case studies. The analysed complexities, social systems and mechanisms manifest in tangible form as objects, installations, articles and performances within a design, academic and public audience.

4. Underneath Your Clothes

Gezichtsherkenning zie je op steeds meer plekken terug. Naast de iPhone-X, zijn er ook tablets die je ontgrendelt met je gezicht. "Mag ik je gezicht even lenen?" is voor vaders en moeders die Face Unlock op de tablets van hun kroost hebben geactiveerd een hele gewone vraag. Een ander voorbeeld is fastfoodketen Yum China die in samenwerking met internetgigant Alibaba een ’veiliger betaalsysteem’ introduceerde waar je met je gezicht kunt betalen. Deze voorbeelden gaan verder dan het klassieke surveillancevraagstuk.
Ze laten zien dat gezichtsanalyse in toenemende mate wordt gebruikt voor een beslissing om wel of geen (commerciële) dienst te verlenen – en dus mogelijk te discrimineren. De biometrische technologie die wordt gebruikt is niet neutraal maar codificeert bestaande vormen van discriminatie.

Vorig jaar bouwden onderzoekers bijvoorbeeld een algoritme dat met 91% zekerheid zou kunnen zeggen of iemand homo is. Het algoritme bleek bol te staan van de fouten.
De gebruikte foto’s waren niet representatief doordat het algoritme enkel was gevoed met foto's van jonge, blanke mensen. Ook werden culturele gewoontes zoals geaccentueerde wenkbrauwen gebombardeerd tot onderdeel van een vaststaande seksuele geaardheid.

Dit soort algoritmen kunnen in de toekomst gaan discrimineren op parameters en eigenschappen waar we ons nu misschien nog geen voorstelling van kunnen maken. Samen met creative coder Fako Berkers en wetenschapshistoricus Marieke Drost onderzoeken we de relatie tussen herkenningssoftware en algoritmische besluitvorming. Hoe zouden nieuwe vormen van discriminatie kunnen werken en wat kunnen we doen om daar grip op te krijgen?

Fako Berkers is naast creative coder ook ondernemer. Zijn bedrijf Datascope is een paraplu voor een serie onderzoeksprojecten die de (on)mogelijkheden van algoritmes blootlegt. Naast aandacht vragen voor de problematiek rondom algoritmes probeert hij alternatieven aan te dragen. De Debat Kijker is zijn meest recente project waarbij hij maatschappelijke debatten die online worden gevoerd in kaart brengt. Fako is van mening dat computers altijd in dienst moeten staan van mensen:

Vaak lukt dat wel, maar de tweede vraag is voor welke mensen ze in dienst staan. Werken ze even goed voor alle mensen, of zijn er mensen die niet profiteren en slachtoffer zijn? Hoe meer keuzes computers maken hoe belangrijker het wordt om er zeker van te zijn dat ze niet (per ongeluk?) mensen achterstellen. Het onderzoek bij Civil Weapons is erop gericht om te kijken hoe een algoritme kan discrimineren en of er iets aan valt te doen. Ik vermoed dat transparantie van een algoritme, waarbij duidelijk wordt voor een buitenstaander hoe een algoritme werkt, daarbij een belangrijk puzzelstukje is.”

Marieke Drost is wetenschapshistoricus en werkt sinds 2011 als wetenschapsjournalist.
Ze voelt zich thuis in het grensgebied tussen wetenschap en maatschappij - twee domeinen waar zelden echt een scherpe grens tussen loopt. Haar interesse gaat uit naar de wisselwerking tussen wetenschap en technologie enerzijds, en wereldbeelden, stereotypen, vooroordelen, verhalen, mythen, overtuigingen, metaforen en minder grijpbare zaken anderzijds. Naast schrijven maakt ze ook radio. Wat haar aantrekt in Civil Weapons of Math Retaliation:

Het gaat verder dan alleen constateren dat ogenschijnlijk neutrale algoritmen soms biased zijn. Het stelt ook de vraag hoe we ons kunnen verweren tegen de oneerlijke effecten daarvan. En het zet de wereld op zijn kop, door daar juist algoritmen voor in te willen zetten.

Don't bring a knife to a gunfight.

Met Civil Weapons of Math Retaliation kunnen we met gepaste wapens strijden tegen onwenselijke vormen van automated decision-making.

Heb jij een praktijkvoorbeeld van een oneerlijk algoritme in Nederland of heb je hier zelf ervaring mee? Laat het ons weten.