Civil Weapons of Math Retaliation

Civil Weapons of Math Retaliation

Magazine

In 2018 wil SETUP automatische beslissingen door algoritmen onderzoeken die maatschappelijke impakt hebben én de macht van deze moraliserende algoritmen eerlijker verdelen. Top story


Jelle van der Ster woensdag 10 januari 2018
Inhoud: 

Inleiding

SETUP maakt zich sinds de onthullingen van Edward Snowden sterk voor digitale burgerrechten. Tussen 2014-2017 maakten we in onze activiteiten duidelijk dat privacy eigenlijk over discriminatie en gelijkwaardigheid gaat. Ook keken we naar de ‘chilling effects’ van onze datasamenleving, zoals datadiscriminatie en de reputatieeconomie.

Dit debat staat inmiddels op de kaart. Anno 2017 is privacy al deel van verkiezingsprogramma’s en partijen als Bits of Freedom en de Autoriteit Persoonsgegevens werken aan de vertaling naar een concreet beleid. Daarmee is de kous niet af, maar het is wel een publiek debat geworden. Echter, met de opkomst van onder andere het Internet of Things, deeplearning en robotisering, ziet SETUP een nieuwe grote verschuiving aan de horizon staan. Deze zal ook weer grote maatschappelijke gevolgen met zich meebrengen.

We zien nu nog een duidelijk verschil tussen bijvoorbeeld politieagenten, de apparaten die zij inzetten om hun taken uit te voeren, en het ICT-bedrijf dat deze apparaten ontwikkelt. Maar deze werelden gaan samensmelten. Een recent voorbeeld hiervan is het voorstel van Egbert-Jan van Hasselt van de Nationale Politie. Alcohol, te hard rijden, smartphonegebruik; elke auto zou volgens hem uitgerust moeten zijn met technologie om dit gedrag automatisch te blokkeren.

Welke maatschappelijke gevolgen heeft deze transitie naar automated decision making? Komt de uitvoerende macht steeds meer in onze apparaten te zitten? Welke belangen hebben ICT-bedrijven hierin? En willen we dit? Dit zijn relevante vragen voor de komende 15 jaar. Anders dan het debat rondom privacy, staat dit maatschappelijke debat nog in de kinderschoenen. De transitie is subtiel, waardoor weinig mensen een genuanceerde stelling kunnen innemen. Of zoals het Rathenau Instituut stelt in haar rapport Opwaarderen uit 2017 (p. 121):

Diverse maatschappelijke organisaties houden zich bezig met privacy en digitale veiligheid en weten op dit terrein ook de politiek-bestuurlijke discussie aan te jagen. Acties van Bits of Freedom (zoals de Big Brother Award) en de Privacycoalitie leidden tot diverse Kamervragen. [...]
Nederland kent echter geen gevestigde maatschappelijke organisaties die discussies rond AI, robotica en opkomende technologieën, en rond ethische vraagstukken omtrent autonomie, discriminatie en menselijke waardigheid aankaarten.

SETUP pakt graag de handschoen op om deze gevestigde organisatie te worden en een maatschappelijk geluid rondom deze ethische vraagstukken te organiseren.

Aanleiding

Welke maatschappelijke gevolgen heeft deze transitie naar automated decision making?

In 2016 zette de Australische variant van het UWV een gloednieuw systeem in werking. Algoritmen zouden achterhalen wie er in de afgelopen zeven jaar had gefraudeerd met een uitkering, waarna dat geld automatisch werd teruggevorderd. Duizenden mensen kregen een envelop op de deurmat om ze van hun nieuwe schuld op de hoogte te stellen. Er was alleen een probleem: het systeem bleek echter grote hoeveelheden mensen onterecht te beboeten. Burgers die dat aankaarten, belandden in een Kafkaesque nachtmerrie. Niemand had er ooit bij stilgestaan dat deze algoritmen fouten konden maken. Er waren daarom ook geen processen opgetuigd om hiermee om te gaan.

Alle Australiërs die onterecht met deze ‘robodebt’ werden opgezadeld, konden alleen door het overhandigen van zeven jaar aan bankafschriften bewijzen dat ze echt – écht – geen criminelen waren.

Everyone agrees that the government has an obligation to identify any overpayments. But what has changed is that the Turnbull government has removed the human oversight and let loose a poorly designed computer algorithm, effectively outsourcing the verification to the recipient.

Het werd het startpunt voor ..n van de grootste protesten tegen automated decision making ooit. Activiste Lyndsey Jackson verzamelde in haar #notmydebt-campagne duizenden verhalen van mensen die onterecht met deze schuld waren opgezadeld. Het systeem van de Australische overheid is een perfect voorbeeld van wat wiskundige Cathy ‘O Neill een ‘weapon of math destruction’ noemt. Deze ‘wapens’ zijn systemen gebaseerd op een wiskundig model van de werkelijkheid, waarvan onterecht wordt aangenomen dat ze neutraal zijn. Door de schaal en de manier waarop deze systemen in de maatschappij worden losgelaten, richten ze enorme schade aan.

In 2018 wil SETUP dit soort automatische beslissingen onderzoeken én de macht van deze moraliserende algoritmen eerlijker verdelen. Zodat burgers niet alleen in bezwaar kunnen gaan tegen een besluit van een algoritme, maar ze deze algoritmen ook kunnen inzetten voor eigen empowerment.

© SETUP / Jesse Kraal

Relevantie

De meest invloedrijke bedrijven vandaag de dag zijn eigenlijk niet meer dan een ‘front-office’ voor verschillende algoritmen.

Algoritme is een breed begrip. In de wereld van de formele wiskunde is een algoritme een abstracte set van regels. Een formule, om binnen specifieke voorwaarden tot een bepaald resultaat te komen. Denk aan Dijkstra’s algoritme, om de kortste weg te vinden tussen punt A en punt B. In het publieke debat wordt de term ‘algoritme’ echter ook gebruikt om de implementatie van die regels in producten/diensten te beschrijven. Dijkstra’s algoritme zit bijvoorbeeld in Google Maps.

Het is die implementatie waar we in geïnteresseerd zijn; daar ontstaan de meeste vragen. Het gaat namelijk lang niet altijd om simpele, routinematige taken. Soms zijn de beslissingen die een algoritme maakt aanzienlijk minder voorspelbaar, waardoor ook de wenselijkheid ervan niet klip en klaar is. De implementatie van het algoritme dwingt dan zijn visie op aan de gebruiker. ‘Dit is de kortste weg’. Want; minder kruispunten, minder verkeer of wellicht omdat er bepaalde winkels langs de route liggen.

Ethische beslissingen

Dit zijn de algoritmen die we in ons programma onderzoeken; algoritmen die – door de implementatie – besluiten nemen die onvoorspelbaar en dubieus zijn. Het kortste-route-voorbeeld is relatief onschuldig, maar in de wetenschap ontstaat een debat over de mogelijke problemen wanneer deze algoritmen ethische beslissingen gaan nemen.

Dr. Brent Mittelstadt van het Oxford Internet Institute onderzocht hoe algoritmen onethisch gedrag kunnen gaan vertonen. Dat begint al bij de vraag welke keuzes we algoritmen willen laten maken.6 Het Amerikaanse Pentagon houdt momenteel bijvoorbeeld vast aan het uitgangspunt dat alleen de menselijke soldaat beslist om een vijand wel of niet te doden. Maar; ‘alleen zolang deze human-in-theloop de AI niet vertraagt’. Zie hier de glijdende schaal.

Mittelstadt ziet ook hier een oorzaak voor onethisch gedrag; het niet kunnen overzien van de gevolgen zodra het algoritme buiten de gebaande paden treed. Het Robodebt-voorbeeld is hier iconisch, de gevolgen waren niet te overzien. Tot slot het gebrek aan transparantie; een algoritmen is puur wiskundig nog wel te begrijpen, maar bij de implementatie ontstaan er zoveel individuele scenario’s, dat de complexiteit enorm toeneemt. En zonder transparantie, krijgt een algoritme al snel de bevoegdheid om ‘autonoom’ beslissingen te maken.

Nu we met algoritmen meer en complexere problemen als ‘berekenbaar’ zien, gaan we denken en handelen naar het idee dat ons hele leven kan worden gevangen in een algoritme. Kortom, de centrale thesis in Homo Deus. In de woorden van wiskundige Prof. Edward Frenkel, getuigt dit van hoogmoed bij de wetenschap, met als resultaat angst en onwetendheid bij het publiek. ‘Alsof een 11-jarige die net goniometrie heeft geleerd plotseling gelooft dat alles in de wereld met cirkels en driehoeken is te verklaren.’ Maar uiteindelijk is de werkelijkheid grilliger, complexer en inherent onvoorspelbaar. Niet voor niets pleit Ed Finn in zijn boek What Algorithms Want voor een nieuwe verbeelding van algoritmen, een nieuw vocabulaire, één die iedereen kan begrijpen.

© SETUP / Jesse Kraal

Het probleem

Daar zit precies het probleem. Ondanks dit genuanceerde wetenschappelijke debat blijft het publieke debat achter. Er zijn talloze voorbeelden die laten zien dat de ontwikkeling en implementatie van autonome, dubieuze algoritmen blijft voortrazen. In Amerika tikte de federale rechtbank recentelijk de Idaho Department of Health and Welfare op de vingers. De reden: een dubieus algoritme dat automatisch bepaalde wie hoeveel ziektekosten vergoed kreeg.

Ook in Nederland zien we voorbeelden van hoe instituten zich op de achtergrond met algoritmen verweven. In 2016 speelde Amsterdam met een predictive- policing-systeem dat op basis van historische data over inbraken en berovingen probeerde te voorspellen waar de politie het best kan patrouilleren. In mei 2017 werd bekend gemaakt dat het systeem landelijk wordt uitgerold.

Onderzoekers zien steeds beter hoe en waar de problemen van discriminatoire algoritmen zitten, producenten van ‘weapons of math destruction’ nemen steeds vaker stelling in om zich met deze kennis beter door de mazen van de wet te manoeuvreren. “It’s better to ask forgiveness than permission” lijkt het credo. Ondertussen komen algoritmen voor automatische beslissingen in steeds meer systemen terug. Het is daarom noodzaak dat het maatschappelijk debat aanhaakt. Alleen dan kunnen we kritische vragen bij de huidige ontwikkelingen stellen en de kennis en macht eerlijker verdedigen.

Ondanks dit genuanceerde wetenschappelijke debat blijft het publieke debat achter.

Urgentie 

In 2018 gaat in Europa de nieuwe General Data Protection Regulation van kracht. Toch gaat deze GDPR voor ons nog niet ver genoeg. 

Het leeuwendeel van deze nieuwe wet gaat namelijk over het veilig verzamelen en opslaan van data. Maar voor het maken van afgeleide data en beslissingen op basis van deze data, daar blijft de wetgeving nog vaag over. Artikel 22 spreekt wel over het recht op een ‘human intervention’ bij Automatic Decision Making, maar dat gaat om individuele gevallen waar iemand tegen een besluit in beroep wil gaan. Volgens ethicus Sandra Wachter is het onduidelijk of algoritmische besluitvorming volgens de wet echt verboden kan worden, of dat het alleen gaat om ‘het recht om te klagen’ als het verkeerd gaat. Alles wijst nu op die laatste.

Wat is er nodig? Hebben toezichthouders de macht nodig om het hele algoritme – en al haar besluiten – als onwettig te verklaren?15 In 2012 wezen Prof. mr. Richard de Mulder en Prof. dr. Albert Meijer al op het ontbreken van een monitoring power. Volgens hen is de huidige rechtsstaat niet ingericht om deze computerized bureaucracies te controleren en corrigeren.

In the information age, citizens need a monitorial power as an additional check against the power of large-scale, computerized bureaucracies.

Robodebt is geen specifiek Australisch probleem, in Nederland zou dit ook kunnen gebeuren. De huidige discussie rondom de ‘Sleepnet-wet’ voorspelt weinig goeds; ook daar is het gebrekkige toezicht op de veiligheidsdiensten één van de voornaamste kritiekpunten. Het is dus tijd dat de juiste instanties de bevoegdheden krijgen die nodig zijn in de 21ste eeuw.

Vóór het zover is, moeten we een maatschappelijke en morele vraag beantwoorden. Hoeveel en welke besluitvorming zijn we bereid bereid om van algoritmen te accepteren? Dit wordt in het beste geval van tevoren op de ministeries uitgedacht. Maar de realiteit is dat deze keuzes vaak door de programmeur worden genomen, vaak zelfs onbewust. We noemen dit ook wel de verschuiving van street-level bureaucracies naar systemlevel bureaucracies. Het probleem is dat het voor iedereen duidelijk is hoe een politieagent (een street-level bureaucrat) zijn macht kan misbruiken en welke instanties deze besluiten kunnen controleren en corrigeren. Maar voor de ontwikkelaars van system-level bureaucrats is dit nog onduidelijk. Dat komt deels door de mythe dat algoritmen ‘unbiased’ zijn en daardoor altijd rechtvaardige besluiten nemen. Maar het komt ook door het gebrek aan voorbeelden en voorstellingsvermogen van hoe deze systemen gaan werken.

Activiteiten

In 2018 maken we door middel van artistiek onderzoek nieuwe beelden en vocabulaire. Dat is munitie waarmee ook het bredere publiek zich kan mengen in het debat over automated decision making. We hebben iconische voorbeelden nodig, die het onderwerp inzichtelijk en invoelbaar maken.

We ontwikkelen ‘civil weapons of math retaliation’ vanuit een aantal ontwerpende onderzoeksvragen. Hierin werken we samen met verschillende kunstenaars, experts en vormgevers om automatische besluitvorming in context te onderzoeken. Het uitgangspunt is dat we algoritmen ontwikkelen waarmee een individu zich kan wapenen tegen ‘automated decision making’ vanuit overheden of bedrijven. Het individu heeft hier de rol van de burger, de werknemer of de consument. In het eerste deel van 2018 verkennen we het veld in vier onderzoeken, die we presenteren op podia en in artikelen aan een breed publiek. Het tweede deel van het jaar staat in het teken van het grotere publieksprogramma.

De volgende vier onderzoeksprojecten belichten het vraagstuk van verschillende kanten.

© SETUP / Jesse Kraal

1. Ik wil niet klagen, maar...

Wenselijkheid

Tuba spelen op het Conservatorium? Eerst even de ramen dicht. Enkele bewoners rond de Mariaplaats in Utrecht zitten al jaren in een juridische strijd met de gemeente Utrecht om geluidsoverlast van het Conservatorium te beperken. Zelfs de Raad van State kwam eraan te pas om de knoop door te hakken. Ook het carillon van De Dom moest eraan geloven; EenVandaag wijdde een item aan de zogeheten ‘carillon-klagers’.

Niet alleen Utrecht maar vrijwel elke Nederlandse gemeente kent deze beroepsklagers. Gepassioneerde juristen die er een sport van maken om aanvragen voor festival-, bouw- en omgevingsvergunningen tot op de puntkomma door te spitten en waar mogelijk bezwaar te maken. Onder het mom van burgerlijk verzet, woongenot, of simpelweg als luis in de pels van het gemeentelijk apparaat. Hoewel klagen is verankerd is in de Nederlandse cultuur, kunnen we constateren dat beroepsklagers vaak de belangen van de gegoede Hollandse burgerij vertegenwoordigen. Professioneel klagen vergt namelijk flink wat kennis, netwerk en tijd. We onderzoeken hoe we de kennis en tactieken van beroepsklagers kunnen vangen in ‘automated decision making’. Zo krijgt iedereen een gelijke kans om voor zij/haar belangen op te komen.

We denken hier in eerste instantie aan het trainen van een eigen AI op basis van onder andere bezwaarschriften, artikelen en interviews van verschillende processen die reeds liepen. Kunnen we zelf een AI bezwaarschriften laten genereren, talkings points voor raadsinformatieavonden samenstellen, de pers bespelen of een belangenvereniging oprichten? En een klagerig toontje, kunnen we dat ook automatiseren? Kortom, het basispakket voor de automatische beroepsklager, om voor ieders belang op te komen. Allemaal met een druk op de knop.

Beroepsklagers zijn vaak een doorn in het oog van stedelijke ontwikkeling en daarmee ook een effectief ‘civil weapon of math retaliation’. Niet dat we de inzet van zo’n wapen toejuichen, dit is voor ons geen klassiek ‘tech-forgood’- project. We willen juist de rafelranden laten zien. Is dit de toekomst van system-level bureaucracy? Welke processen in besluitvorming willen we automatiseren? Het democratiseren van deze wapens dwingt tot een discussie over de wenselijkheid ervan.

© SETUP / Jesse Kraal

2. Reversed Predictive Policing

Autonomie

In dit onderzoek verkennen we hoe we ons kunnen verzetten tegen opkomende vormen van predictive policing. Kortom, het voorspellen van crimineel gedrag. Als de politie gebruik mag maken van predictive policing, zouden wij dat ook mogen doen. Niet om machtsverhoudingen te bevragen, maar om de werking, manco’s en potenti.le vormen van machtsmisbruik van dit systeem inzichtelijk en invoelbaar te maken. We ontwerpen ‘devices’ die dezelfde voorspellende inzichten aan de burger geven.

In dit onderzoek werken we samen met kunstenaar Milou Backx. In 2017 won zij de HKU Prijs Gemeente Utrecht met haar werk ‘Artificial Dumbness’. Ze ontwierp prototypes van apparaten, waarin ze verschillende keuzes in haar leven overliet aan algoritmen én deze ook opvolgde. Zo stemde ze tijdens de Tweede Kamerverkiezingen van 2016 op de SGP, omdat haar apparaat dat voor haar bepaalde. Vervolgens ging ze op zoek naar redenen om deze keuze te rationaliseren. Zo ontdekte ze dat ze – tegen alle verwachtingen in – steeds meer voor deze partij ging voelen. Haar werk illustreert hoe algoritmische beslissingen ‘in je hoofd gaan zitten’, hoe je ze rationaliseert, internaliseert en vervolgens minder in twijfel trekt. De dilemma’s – de dwingende kracht van algoritmen en het menselijke vermogen om deze keuzes moreel te verdedigen – zien we ook graag in onze reversed predictive policing devices.

Milou Backx, artificial dumbness

3. Appellation Contrôlée

Menselijke waardigheid

Franse jongeren op zoek naar een baan hebben een nieuwe tactieken gevonden om hun CV door algoritmische screenings te loodsen. In voor mensen onzichtbare – maar voor computers leesbare – witte letters voegen ze namen als Harvard of Panthéon Sorbonne toe. Het resultaat; een hogere score en een CV dat bovenop de stapel van de nietsvermoedende HR-medewerker komt. Zoals je in de jaren ‘90 nog met slimme metatags een zoekmachine om de tuin kon leiden, weten Franse jongeren nu HR-medewerkers van grote bedrijven te bespelen. Een mooi verhaal, maar is het waar? Bestaat het ook in Nederland?

Business Insider publiceerde onlangs een video waarmee we een inkijkje krijgen in software als HireVue en hoe deze bedrijven denken en spreken  over deze systemen.23 HireVue wordt onder andere gebruikt door Unilever. ‘Maak je geen zorgen, het voelt misschien nog gek, maar deze technologie is een eerlijkere en effici.ntere vorm van HR-management’. Sollicitanten die eenmaal binnen zijn, blijven een onderwerp van algoritmische screening; er bestaat ook software om communicatie van medewerkers algoritmisch te analyseren, en zo de ‘zwakke schakels’ te identificeren. Kortom, een 24/7 functioneringsgesprek, waarbij het beslissingsalgoritme altijd over je schouder meekijkt.

Om werknemers algoritmisch te wapenen tegen werkgevers, willen we experimenteren met algoritmisch solliciteren. Kunnen we zo’n algoritme bespelen? Werkt de witte-letter-tactiek van Franse jongeren ook in Nederland? Zijn er andere trucs? Is het mogelijk om een HireVue-videosollicitatie te optimaliseren? Of is €100,- bij de sollicitatiebrief of HR-medewerker nog altijd de beste methode om binnen te komen?

4. Underneath Your Clothes

Discriminatie

Gezichtsherkenning zie je op steeds meer plekken terug. China is – zoals vaak – koploper in de implementatie. Fastfoodketen Yum China introduceerde in samenwerking met internetgigant Alibaba een ‘veiliger betaalsysteem’ waar je met je gezicht kunt betalen. En de toiletten bij Beijing’s Tempel van de Hemel delen enkel nog toiletpapier uit op basis van gezichtsherkenning, om diefstal te voorkomen. Ook de nieuwste iPhone is met je gezicht te ontgrendelen. Het is te makkelijk om deze voorbeelden af te doen als een klassiek surveillancevraagstuk. Er zit hier een andere, subtiele verschuiving onder de radar; gezichtsanalyse als basis voor besluiten om wel of geen (commerciële) dienst te verlenen – en dus mogelijk te discrimineren.

Naast het herkennen van een gezicht is er ook steeds meer informatie aan af te lezen. Stanford University trainde een AI om homosexuliteit te herkennen. In 81% van de gevallen had de AI het goed – menselijke beoordeling bleef steken op 61%. Dit onderzoek was deels ook bedoeld om aan te zetten tot nadenken; kunnen systemen worden ingezet om bestaande maatschappelijke ongelijkheid te bestendigen?

Waar echter nog niet over werd gesproken, is dat deze systemen ook op andere parameters en eigenschappen kunnen gaan discrimineren. Algoritmische discriminatie op punten die we nu nog niet kennen en waar we ons ook nog geen voorstelling van kunnen maken. In dit ontwerpende onderzoek richten we ons op de relatie tussen herkenningssoftware en algoritmische besluitvorming. We willen onderzoeken hoe deze nieuwe vorm van discriminatie kan werken, om er vervolgens grip op te krijgen.

Hoewel het een bekend concept is, willen we starten bij het vangen van een nachtclub-portier in een algoritme. Het gaat ons niet om de uiteindelijke keuze van zo’n portier, maar om de vraag hoe zo’n algoritme te beïnvloeden is. Graag 12% meer queer, 6% minder sneakers? Hoe kunnen we ons verzetten tegen dit soort systemen? En, – als zakelijke spin-off – is zo’n algoritme te verkopen aan andere bedrijven? Wie zou er meer nog baat hebben bij dit soort automatische besluitvorming? De Buitengewoon Ambtenaar van de burgerlijke stand? De nachtwaker bij een Van der Valk Hotel? Je aanstaande schoonouders?

© SETUP / Jesse Kraal

Doe mee!

SETUP is pas tevreden als we voor verschillende publieksgroepen prikkelende en grijpbare toekomstscenario’s hebben kunnen schetsen. We willen het publiek bewegen om na te denken over de invloed van automated decision making op hun eigen leven, én hoe ze zich tegen de donkere kanten van deze ontwikkeling kan verweren.

SETUP wil aantonen dat iedereen het vermogen heeft om zijn/haar eigen positie in de technologische maatschappij te bepalen. Daar zijn nieuwe munitie, kennis en exemplarische voorbeelden voor nodig. Met dit activiteitenprogramma geven we daar vorm aan. We zijn altijd op zoek naar nieuwe samenwerkingen met beleidsmakers, denkers en kunstenaars. Neem contact met ons op om nader kennis te maken!