Data en algoritmen: geen zuivere koffie

Data en algoritmen: geen zuivere koffie

Magazine

Data die over ons verzameld wordt, komt steeds vaker bij ons terug op manieren die we misschien niet hadden voorzien.


Tijmen Schep donderdag 13 april 2017
Inhoud: 

Een koffiezetapparaat dat je koffie geeft op basis van je postcode, dat kon je beleven tijdens de Dutch Design Week bij onze expo Louche Apparaten. Woon je in een goeie wijk, dan krijg je lekkere koffie. Maar woon je in een slechtere wijk? Dan krijg je slechtere koffie..
 

De data die het apparaat gebruikt komt van de overheid, die elke vier jaar een ranglijst deelt van alle postcodegebieden, op basis van inkomsten- en opleidingsniveau. Marketingbedrijven zijn dol op dit soort scores.

Er stonden lange rijen voor “Proef je Status”, zoals het kunstwerk van Vincent Hoenderop heet. Iedereen wilde het weleens weten: hoe goed scoort mijn wijk?

Te koop: 3000 meningen

Het koffiezetapparaat is meer dan een vloeibare manier om data op te vragen, ze verbeeld onze toekomst in het klein. Vincent Hoenderop legt uit dat de data die over ons verzameld wordt, en de profielen die over ons gemaakt worden, steeds vaker bij ons terug komt op manieren die we misschien niet hadden voorzien. Je data wordt niet alleen gebruikt om je betere passende advertenties te laten zien, ze krijgt ook verregaand invloed op allerlei andere aspecten van je leven.

Een voorbeeld is een patent dat Facebook sinds kort heeft, waarin ze voorstellen om te checken of je een lening mag krijgen door te kijken naar je uitingen en naar de uitingen en de scores van je vrienden.
 

Het rentepercentage van je hypotheek, je kans om op sollicitatiegesprek te komen, zelfs je zichtbaarheid op een dating-website. In al deze situaties wil je weten wat voor vlees je in de kuip hebt. Jouw data zijn hier de sleutel. Elk kleine beetje data dat je (onbewust) deelt, bijvoorbeeld door te surfen op websites met tracking cookies, wordt door zogenaamde ‘databrokers’ en andere data-baronnen zoals Google en Facebook gebruikt om honderden ‘meningen’ over jou aan te scherpen. Wat je interesses zijn, wat je politieke voorkeur is, of je verslavingsgevoelig bent, of je ‘fysiek fragiel’ bent. Sommige Amerikaanse databrokers hebben meer dan 3000 van deze ‘meningen’ op de plank, bleek uit onderzoek. Het klinkt ongelofelijk, maar deze markt was in 2015 al zo een 150 miljard euro waard. Welkom in de reputatie-economie!

Mag dat zomaar? Belangrijk om te beseffen is dat deze ‘meningen’ technisch gezien niet jouw data, maar hun data zijn. Terwijl jouw data (zoals Facebook-likes) de kluis in gaan, gaan de daaruit afgeleide ‘meningen’ als zoete broodjes over de toonbank. Het zijn bijzondere broodjes: vaag genoeg om waardevol en wettelijk te zijn, maar net niet precies genoeg om een privacy- of lasterzaak op te leveren. Het opzoeken van deze grens is tot een kunst verheven.

Old-Boys Algoritmes

Deze ‘meningen’ worden niet door mensen gemaakt, dat zou te veel werk zijn. Er worden algoritmes geschreven die het beoordelen van informatie automatiseren. Zo wordt bijvoorbeeld met behulp van ‘sentiment analyse’ gekeken of je je positief uit. Gebruik je veel zoetsappige woorden als “lief”, “blij” en “hoera” in je e-mails, en gebruik je veel vrolijke smileys op Twitter? Dan gaat je sociale score omhoog. Gebruik je meer negatieve woorden, dan daalt je score. Ook als je tweet over een onrecht dat je nauw aan het hart ligt of als je het ironisch bedoelt: daar maken deze algoritmes geen onderscheid tussen.

Don't worry about smart AI taking over, worry about dumb AI taking over — Daniel Dennett

Je kunt het al aanvoelen: de plank wordt weleens misgeslagen. Deze beoordelingssystemen zijn bouwwerken van imperfecte en selectief gekozen databronnen, waarin algoritmes aan het werk zijn gezet die stiekem supersubjectief zijn. Of zo’n algoritme de woorden “Allah”, “Astma” of “Ikea” als +1 of -1 moet zien, dat is een maatschappelijke discussie waard. Maar het breed voeren van die discussie, dat is voor deze bedrijven niet zo interessant. 

Deze systemen zijn nu overal, en de kans is groot dat je er ten onrechte door benadeeld bent. Maar dat heb je simpelweg niet door. Daardoor is er nog niet veel maatschappelijke weerstand tegen deze praktijken. En zelfs wanneer we het door hebben dan is het ook nog eens zo dat we deze systemen veel vertrouwen gunnen. Driehonderd jaar na de verlichting is er een breed maatschappelijk idee ingebakken dat data objectief is, of dat algoritmes neutraal zijn. Neutraler dan mensen in ieder geval, zo is de belofte.

We zullen ons gaan moeten beseffen dat dat niet per se zo is. In deze algoritmes kan net zoveel discriminatie zitten, zo blijkt uit onderzoek. Eenmaal in technologie gegoten is deze discriminatie juist door dat brede maatschappelijke vertrouwen in de neutraliteit van deze systemen moeilijk aan te pakken.

 

Profiling is inherently discriminatory, as it attempts to treat people differently based on their behaviour and personal information. — Samuel Gibbs

Het leven als computerspel

In het dagelijks leven zien we dat wanneer discriminatie en oneerlijkheid in algoritmes wordt ingebakken, we het verrassend moeilijk vinden om daar tegenin te gaan. Ten eerste omdat je niet weet waar of bij wie je moet zijn. Wanneer je op je werk te horen krijgt dat je verkeerd gedrag vertoont, dan weet je met wie je moet spreken om nuance aan te brengen in het verhaal of iemands beschuldiging te weerleggen. Maar als je via een algoritme beoordeeld bent, dan zijn we zo stil en gedwee, dat het soms lijkt alsof ons brein tegenwerkt bij het doorzien van onze algoritmische wereld. Het leidt ertoe dat we “computer says no” vele malen sneller te accepteren dan “person says no”. Het is iets dat SETUP in 2017 onderzoekt onder het jaarthema “algorithm is a dancer”.

 

Ondertussen zetten deze ontwikkelingen zich voort. Door de opkomst van het Internet of Things en de Smart City krijgen we hier in ons daaglijks leven ook steeds meer mee te maken. Dit werd mooi aangekaart door een ander kunstwerk dat we tijdens de Dutch Design Week aan de wereld toonden, de “Home Control Kit” van Jasper van Loenen. Hierin stelt hij ons een gezin van de toekomst voor waarin de ouders hun opgroeiende kinderen voor alles en nog wat punten geven, daarbij geholpen door de vele slimme apparaten in hun huishouden. Doen ze hun huiswerk? Puntje erbij. Vaatwasser niet uitgeruimd? Bliep, puntje eraf. En bij een te lage score, tja, dan wil de Playstation niet meer aan, of op zijn hoogst een kwartiertje. Dat is door de ouders allemaal in te stellen.

Het is een sterk werk: door deze wereldwijde ontwikkeling te verkleinen tot de thuissituatie wordt ineens behapbaar en invoelbaar dat algoritmes objectief klinken, maar dat er eigenlijk gewoon een machtsspelletje achter schuilt. En het stelt een nog spannendere vraag: wat doet het leven in zo’n situatie op de lange termijn met ons mens-zijn? Een leven waarin steeds meer aspecten van ons leven de logica van een computerspelletje volgt, en waarbij iemand anders bepaalt waar je punten voor krijgt. Worden we daar volgzamer van? Braver? Of minder creatief? Minder mens?

De spanning die hier zit wordt als geen ander door kunstenaars invoelbaar gemaakt. 

 

Home Control Kit - Jasper van Loenen

Onze tentoonstelling die dit onderzoekt, Louche Apparaten, reist van hot naar her. De expo was onder andere te zien op het Congres Digitale Agenda 2020, het ECP Congres en de Dutch Design Week. Kom de tentoonstelling beleven als je de kans krijgt. Want pas als je het zelf ziet er ervaart, dan ga je je diep beseffen: data en algoritmes dat is geen zuivere koffie.

Meer lezen? We raden deze boeken aan:
- Weapons of Math Destruction
- What algorithms want
- Black Box Society