Het moraal achter codetaal

Het moraal achter codetaal

Magazine

In de algoritmen van je ‘slimme’ apparaten zitten morele voorkeuren verstopt. Kan jij ze vinden?


Floris Koster vrijdag 21 april 2017
Inhoud: 

Actuele ontwikkelingen - van big data en Internet of Things tot aan slimme technologie en zorgrobots - grijpen direct in op ons dagelijks leven. De opkomst van ‘slimme apparaten’ is niet te missen en lijkt ons leven aanzienlijk te verbeteren. Vele voorbeelden worden dan ook vaak positief ontvangen, zoals een slimme thermostaat, slimme horloges en slimme hoge hakken met een app en bluetooth-verbinding, ja ze bestaan echt. Tegelijkertijd blijven ze voor velen abstract en ongrijpbaar. Het nut voor de consument is niet altijd even duidelijk, maar het nut voor de fabrikant is helder: het zijn dataverzamelaars.

Als we deze producten onder de loep nemen, zien we een trend: zelflerend, zelfrijdend, zelfbeslissend. Zogenoemde algoritmen – stukjes software in de vorm van formules - analyseren deze verzamelde data om vervolgens keuzes te maken en daar naar te handelen. Het klinkt onschuldig, maar deze algoritmen zijn meer dan slechts formules. Slimme apparaten claimen namelijk een autonoom handelingsvermogen. Maar wat is hier autonoom? Achter al die algoritmen in ‘slimme dingen’ zitten morele voorkeuren verstopt. Dat is geen nieuw inzicht: de verkeersdrempel, zo legde filosoof Bruno Latour al uit, is geen neutraal object, maar een verlengstuk van de politie. Het is een uiting van de normen en waarden in een maatschappij: langzaam rijden graag!

Het moraal achter codetaal

Met de opkomst van slimme apparaten krijgt dat handelingsvermogen een nieuwe dimensie, waardoor ook de normatieve werking sterker wordt. Zelfrijdende auto’s moeten bijvoorbeeld beslissen voor welke dieren ze remmen. Maar ook alledaagse producten krijgen zo’n sterkere moraal. Neem Smarttress, een matras dat mogelijke affaires van jouw partner ontmaskert. De moraal: geen relatie zonder volledige openheid. In deze algoritmen zit een wereldbeeld van de maker. Dat is echter maar de helft van het verhaal, er speelt een tweede factor mee: commercieel en/of politiek belang. Denk aan HiMirror Plus, een smart mirror die jouw imperfecties aanwijst. Er zit niet alleen een moraal in (ken en maskeer je gebreken), maar ook een belang (er zijn schoonheidsproducten om die gebreken te maskeren). Kortom, een apparaat is zo autonoom als de belangen van de stakeholders. Nu steeds meer dingen om ons heen ‘slim’ worden, ontstaan er complexe netwerken van stakeholders, die allemaal belang hebben bij jouw gedrag. Dat geldt niet alleen voor onze tv’s of tandenborstels, maar stelt ook de vraag welke stakeholders er straks in onze zorgrobots zitten. Welk belang heeft bijvoorbeeld de zorgverzekeraar?

Achter de algoritmen in ‘slimme dingen’ zitten morele voorkeuren verstopt.

Het probleem

Er ontstaat een perceptieprobleem. Slimme apparaten worden in toenemende mate een ‘black box’; ze geven geen inzicht met wie ze communiceren, welke belangen er meespelen en hoe ze tot keuzes komen. Mensen hebben een blinde vlek als het om algoritmisch gestuurde processen gaat, maar het wordt ze ook niet makkelijk gemaakt. Het Financieel Dagblad schreef op 5 maart nog dat het recht om te weten hoe die beslissingen tot stand komen sterk wordt beperkt door het recht van bedrijven om hun bedrijfsbelangen te beschermen. Sci-fi-auteur Cory Doctorow schetste in 2015 al zo’n een doemscenario in zijn stuk ‘If dishwashers were iPhones’. Haaks op dat probleem – en hier wordt het spannend – ziet SETUP hoe apparaten steeds meer als autonome, mensachtige wezens worden omarmd. Dat is niet heel gek. Algoritmen vertegenwoordigen voorkeuren en worden bovendien steeds complexer. Het lijken daardoor karakters; het begrijpen wordt vervangen door menselijk begrip. Daarnaast zijn er letterlijk meer menselijke features, zoals de stem van Siri, de ogen van de zorgrobot, of een persoonlijke chatdienst die aangeeft of je wellicht een soa hebt. Deze voorbeelden laten zien dat technologie steeds ‘menselijker’ lijkt te worden en je emotioneel kan ondersteunen. Het zijn niet langer ‘de computers’, maar de rechtvaardige algoritmen, de vergeeflijke zorgrobots of koelbloedige AI’s waarmee we een relatie aangaan. Kortom, de systeemwereld doet zich steeds vaker voor als menswereld. Maar zijn we nog in staat om daar doorheen te kijken? Of is het juist olie op het vuur voor ons perceptieprobleem?

We zijn geneigd apparaten als autonome, mensachtige wezens te omarmen.

De opkomst van menselijk uitziende en klinkende apparaten is echter zo gek nog niet en laat wellicht zien dat we ook graag willen dat onze technologie ‘natuurlijker’ aanvoelt. We hebben het over apparaten die hun dag niet hebben of die iets ‘willen’. De algorithmic folk theories – verhalen die mensen bedenken om te verklaren hoe hun slimme apparaten werken – lijken steeds meer op de psychoanalyse. Maar wanneer wordt dat onwenselijk? Wellicht wanneer we inzien dat in de ‘menselijke communicatie’ met onze apparaten we steeds menselijker reageren; we zijn vergeeflijker bij fouten en bouwen sneller een vertrouwelijke relatie op.

Wij accepteren eerder fouten en gebreken, puur vanwege het feit dat fouten maken iets menselijk is, maar daar ligt juist het probleem. Het is wellicht onschuldig bij een stofzuiger, maar tricky wanneer AI wordt ingezet bij een levensverzekering en sollicitatiegesprekken. In januari kondigde een Japanse verzekeraar aan dat ze 34 medewerkers vervangt door Watson, de AI van IBM. Watson krijgt kennis van medische dossiers en voorafgaande correspondentie, waardoor het makkelijker wordt om klanten te overtuigen van genomen beslissingen. Hoge premie of lage uitkering? “Het spijt mij ook.” Of denk aan Matlda, een apparaat om sollicitatiegesprekken af te nemen. Ze analyseert antwoorden, kijkt naar gezichtsuitdrukkingen en probeert de sollicitant te kalmeren. De ontwikkelaar stelt: “We find that millennials often prefer to interact with something that’s not real.” Maar haar besluit heeft wel degelijk echte consequenties. Deze voorbeelden suggereren dat we menselijke technologie graag inzetten voor sociale interacties die we zelf ongemakkelijk vinden, zoals afwijzingen en onderhandelingen. Maar wat zit er achter dat menselijk voorkomen?

De oplossing

SETUP onderzoekt binnen het project Algorithm is a Dancer hoe we de antropomorfisering – het zien van technologie als een menselijke gedaante - van data politics inzichtelijk en invoelbaar kunnen maken voor het brede publiek. Hoewel we ‘slimme dingen’ vaak utopisch en futuristisch benaderen, is SETUP juist benieuwd naar de huidige implicaties van deze technologie zoals privacy, maar veel belangrijker: gelijkwaardigheid, discriminatie en vrijheid. Hoewel de meeste internetgebruikers zich in kunnen beelden hoe deze technologie impact kan hebben op hun privacy, lijkt het een stuk lastiger te zijn om in te beelden hoe apparaten keuzes maken en wat die betekenen voor ons dagelijks leven en ons 'mens-zijn'.

Daarom onderzoeken we samen met kunstenaars en ontwerpers hoe we deze complexe ontwikkelingen kunnen verbeelden. Dit ontwerpende onderzoek heeft als doel om de ontwikkelingen die we in dit artikel hebben geschetst voor een groot publiek inzichtelijk en bespreekbaar te maken. We stimuleren publieke belangstelling en versterken het maatschappelijk middenveld door het debat te openen en op scherp te zetten. Ook gaan we met beleidsmakers en ontwikkelaars aan de slag om de ethische aspecten van dit vraakstuk te verkennen en nieuwe verantwoordelijkheden aan te wijzen.

Ben jij ook bezig met deze thematiek? Neem contact met ons op! We werken graag samen. Of houd de website in de gaten. Binnenkort volgt een open call voor kunstenaars en ontwerpers om mee te werken aan het project Algorithm is a Dancer.