Hoe moeten mens en machine versmelten?

Hoe moeten mens en machine versmelten?
© Dongwei Su
14 feb

Hoe moeten mens en machine versmelten?

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze onderzoekt de ethische rol en betekenis van authenticiteit, autonomie en imperfectie in de context van opkomende technologieën.

Van harmonie tot horror: in 2019 onderzoekt SETUP wat geslaagde en minder geslaagde vormen van versmelting tussen mens en machine zijn.

Machines die ons aanvullen, aanvallen, versterken, verzwakken, verheffen, monitoren, misleiden of verleiden: de versmelting tussen mens en machine kent uiteenlopende gedaanten. In 2018 onderzocht SETUP automatische besluitvorming en kwamen we erachter dat de human-in-the-loop niet serieus wordt genomen: een menselijke tussenkomst wordt niet gezien als een waardevolle aanvulling op automatische systemen, maar als een inefficiënte kostenpost. Hoe houden we de menselijke waarde 'in-the-loop'?

Mens out-of-the-loop

Afgelopen oktober stortte een toestel van Lion Air in de Javazee. Het geautomatiseerde systeem bracht de neus van het vliegtuig steeds verder omlaag. In elf gruwelijke minuten corrigeerde de piloten 26 keer de software, maar het vliegtuig bleef dieper duiken. De ‘escape-knop’ was onvindbaar, 189 inzittenden kwamen om het leven.

Wanneer geautomatiseerde systemen betrokken zijn bij een dodelijk ongeval, laait de discussie op over de rol en betekenis van de human-in-the-loop. Verwachten we er te veel van? Voegt een menselijke tussenkomst nog iets toe? Als het aan de Raad van State ligt wel. Afgelopen najaar schreven zij een alarmerend adviesrapport over automatische besluitvorming bij de overheid: “Iedere te beoordelen situatie wordt tot een zwart-wit tegenstelling gereduceerd, maar de werkelijkheid bestaat voor burgers uit vele tinten grijs". Daarom is het volgens de Raad noodzakelijk dat een mens blijft beoordelen wanneer van de regels moet worden afgeweken.

Van autonome wapens tot constructieve debatcomputers; er bestaan verschillende manieren waarop mens en technologie met elkaar in-the-loop zitten.

Wapenfabrikant Rafael denkt heel anders over de noodzaak van een menselijk oordeel. Zij ontwikkelde een automatische raket die op basis van geüploade foto’s en image matching tot op pixelniveau doelwitten kan selecteren. Het wetenschappelijke programma Focus interviewde de woordvoerder van de fabriek en stelde hem de vraag wat er gebeurt als er een fout wordt gemaakt en de aanval afgebroken moet worden. De fabrikant verklaarde dat zij weliswaar een communicatiefunctie in hun raket kunnen bouwen, maar dat het systeem hierdoor duurder en minder efficiënt zou worden. Kortom: de human-in-the-loop is een overbodige kostenpost.

Gelukkig zijn er ook positievere samenwerkingen tussen mens en machine. Neem bijvoorbeeld Debater: een debatcomputer die ons meerdere standpunten over een onderwerp laat zien en mensen kan losweken uit vastgeroeste denkpatronen.

Onze worsteling met autonome wapens en samenwerking met Debater laten zien dat de manier waarop mens en technologie met elkaar in-the-loop zitten uiteenlopende gedaanten, kansen en gevaren kent. Dat roept een aantal belangrijke vragen op:

  • Hoe zorgen we ervoor dat mens en machine complementair aan elkaar kunnen zijn?
  • Wat zijn wenselijke en onwenselijke vormen van versmelting?
  • Hoe blijft de menselijke waarde in-the-loop?

Deze vragen gaat SETUP in 2019 met het jaarprogramma Unchained Melody onderzoeken.

Machine-achtige mensen

Bij een versmelting tussen mens en machine denken we meestal aan een fysieke, letterlijke vorm van versmelting. De fysieke interpretatie van de cyborg waarbij mensen chips, elektrodes of hersencomputers in hun lichaam laten implanteren spreekt tot de verbeelding.

Door deze eenzijdige focus op technologie die ons lichaam binnendringt, merken we niet dat we in geestelijke zin allang versmolten zijn met onze machines. We zijn 24/7 aangesloten op internet, communiceren met digitale assistenten en laten ons op steeds meer vlakken bijsturen door algoritmen. Deze geestelijke manifestatie van de cyborg is in onze samenleving veel prominenter aanwezig, én urgenter dan de fysieke cyborg.

Het grootste gevaar is niet zozeer dat machines op mensen gaan lijken, maar dat mensen op machines gaan lijken.

Dat zien we terug in de VPRO-documentaire Follow Me waar programmamaker Nicolaas Veul in de financiële wereld achter Instagram duikt. Omdat likes en followers keiharde valuta zijn geworden staat bij het produceren van content nog maar één vraag centraal: hoe krijg ik zoveel mogelijk hartjes en volgers? Online wemelt het van de artikelen over 'het Instagram algoritme' en stappenplannen die toelichten hoe je het kunt kraken. Daar hoef je overigens geen hele studie van te maken; op verschillende websites kun je voor een prikkie een lading verse likes en volgers kopen.

Influencer Sara Melotti vertelt in de documentaire over de gevolgen van valse likes en geperfectioneerde beelden die het medium volgens haar domineren:

Vals spelen is nu de norm op Instagram. Oneerlijkheid wordt beloond en eerlijkheid bestraft. Dat is niet goed voor de samenleving. Een zevende van de wereldbevolking zit op Instagram. Mensen denken ‘ach het is maar Instagram’, maar dat is het allang niet meer, het is een fysieke plek geworden. Ik ben een slaaf van het systeem, net als veel andere mensen. Ik probeer ertegen te vechten maar kan nog niet zonder. Het is als een slechte relatie waarin je man je elke dag slaat, maar je blijft toch bij hem.

Een machtsmisbruikende relatie waar mensen - too hooked to care, niet meer vanaf komen: niet bepaald een voorbeeld van een geslaagde versmelting met technologie.

Het bedrijf Commenter heeft honderdduizend 'human made bots' in dienst.

Een andere manier waarop influencers en bedrijven likes en volgers binnenhalen is via ‘human made bots’ en 'click farms'. Natuurlijk kun je ook vanaf je luie scherm geautomatiseerde comments door een computerprogramma laten genereren, maar deze komen onecht over. Bovendien zijn like- en comment robots gemakkelijk te onthullen. Hier zag het Russische bedrijf Commenter een gat in de markt: wat als we ‘human made bots’ gaan betalen om comments te schrijven? Het bedrijf heeft inmiddels honderdduizend vaste menselijke commentschrijvers in dienst. In Follow Me zien we aan huis gebonden moeders die tussen het spelen met de kinderen door vastgelijmd aan hun smartphone of laptop, fulltime comments zitten te typen.

Het robotische geklik en gecomment, en de algoritmische dwangbuis die bepalend is geworden bij het creëren van content, laten zien dat machines niet alleen menselijker worden gemaakt, maar dat mensen ook meer op machines gaan lijken. Volgens futuroloog Gerd Leonhard is het gevaar dan ook niet zozeer dat machines de boel van ons overnemen, maar dat wij teveel op hen gaan lijken. Een complementaire samenwerking wordt dan wel erg lastig.

Deze ontwikkeling herkennen we ook terug in het datacentristische wereldbeeld dat historicus Yuval Noah Harari in zijn bestseller Homo Deus beschrijft; de mens wordt beschouwd als een datapakket en laat zich op steeds meer levensterreinen bijsturen door algoritmen. Om te bepalen wat we willen eten, lezen, kopen, kijken, verzekeren, genezen, beluisteren en beminnen hoeven we niet meer zelf na te denken of een beroep te doen op onze zintuigen, we besteden het uit aan algoritmen. Maar omdat algoritmen alleen prioriteit geven aan de meetbare aspecten van de mens, verliezen we menselijke kwaliteiten en onderlinge verschillen uit het oog. Volgens vooraanstaand wiskundige Edward Frenkel gaan daardoor menselijke kwaliteiten als intuïtie en inspiratie verloren:

This path of rationalizing, measuring, computing and calculating, and denying the possibility of any other force of life like intuition, insight and inspiration is a path to suicide.

Bovenstaande voorbeelden laten zien dat de verschillende manieren waarop wij versmelten met technologie begrepen moeten worden tegen de achtergrond van een datagedreven economie. Nog nooit eerder werden onze voorkeuren en gedragingen op zo’n grote schaal gemonitord, gekwantificeerd en vermarkt. In deze data-economie bepalen techgiganten als Google, Facebook en Amazon het economische krachtenveld.

Een onzichtbare digitale dwangbuis is voor veel mensen geen geslaagde vorm van versmelting.

Filosofe Shoshana Zuboff beschrijft in haar pas uitgekomen boek The Age of Surveillance Capitalism een nieuwe vorm van kapitalisme: waar traditionele concurrentie gebaseerd is op producten, is hedendaagse concurrentie gebaseerd op datagedreven gedragsvoorspellingen. Deze vorm van 'surveillance-kapitalisme' tast volgens Zuboff onze autonomie aan omdat we niet weten op welke manier gedragskwantificeringen en voorspellingen worden vermarkt, en hoe deze ons gedrag vervolgens bijsturen.

Kortom: een digitale dwangbuis die we niet kunnen zien, maar wel doorlopend onze informatievoorziening en gedragingen beïnvloed. Ook dit is voor veel mensen geen geslaagde versmelting met technologie.

Versmelten, hoe dan wel?

Maar hoe zou deze versmelting er dan wel uit moeten zien? Met welke opkomende technologieën vullen mens en machine elkaar op dit moment aan? Een voorbeeld is het gebruik van augmented reality op de werkvloer.

Augmented reality vult werknemers complementair aan.

Met hightech brillen en slimme beamers wordt een extra laag aan de werkelijkheid toegevoegd waarmee technici en artsen beter kunnen zien waar ze moeten boren, schroeven, knippen of opereren. In de Amerikaanse fabriek van Boeing ondersteunen deze brillen bijvoorbeeld de installatie van ingewikkelde bedradingsnetwerken van vliegtuigen. Werknemers blijken hierdoor minder fysieke en mentale belasting te ervaren, waardoor de brillen en beamers een welkome aanvulling zijn.

Om te voorkomen dat werknemers door deze technologie worden belemmerd in het doorontwikkelen van hun vaardigheden, onderzoekt TNO hoe een slimme beamer kan worden aangepast aan de vaardigheden van de werknemer, en hoe goed de aangeleerde informatie blijft hangen als werknemers zonder deze technologie aan de slag moeten. Het onderzoek stelt daarmee niet alleen de technologie centraal, maar ook de wijze waarop de mens door deze technologie verandert. Daardoor sluit het aan bij een populaire vraag die bij veel mensen leeft: op welke manier is de mens van waarde in een digitaliserende machinewereld?

In samenwerking met kunstenaars ontwikkelt SETUP gereedschappen en vocabulaire waarmee we zelf vorm kunnen geven aan onze versmelting met technologie.

Deze vraag moeten we vooral niet benaderen in termen van technologieën die de mens vervangen, maar in termen van geslaagde en minder geslaagde vormen van versmelting. Hoe zien deze eruit in technologische contexten binnen onze eigen invloedssfeer?

Samen met kunstenaars en experts onderzoeken we verschillende scenario's van versmelting en ontwikkelen we gereedschappen en vocabulaire waarmee we zelf vorm kunnen geven aan onze versmelting met technologie. Dat doen we aan de hand van vijf ontwerpende onderzoeken:

1. Pottenbakken, de ideale technologische smeltkroes?

Geïnspireerd op de befaamde pottenbak-scène uit de romantische thriller Ghost (1990) gaan we met robots en mensen samen pottenbakken. Als deelnemer kun je in de rol van Patrick Swayze duiken en je door de robot laten begeleiden bij het pottenbakken. Of andersom kun je als Demi Moore een robot leren hoe hij/zij/het een pot bakt. Tussen deze twee uitersten zijn er natuurlijk tal van andere opties mogelijk waar je als deelnemer zelf vorm aan kunt geven.

In dit project werken we samen met kunstenaar Casper de Jong en een aantal pottenbak professionals om het ambacht van pottenbakken over te brengen op een robot. Maar we zijn ook op zoek naar mensen die het niet kunnen, deze data zijn waardevol om de robots te trainen.

NRC Handelsblad maakte vorig maand een reportage over de populariteit van pottenbakken: “Kleien en pottenbakken is niet alleen een leuke manier om mooie dingen te maken, het is ook behoorlijk mindful. Achter de draaischijf moet je constant accepteren dat wat je wilt, niet lukt.”

Hoe kunnen we ervoor zorgen dat het pottenbakken niet een vlucht uit de digitale wereld is, maar juist een mindful manier om met techniek bezig te zijn? Hoe kunnen mens en robot elkaar aanvullen?

2. Pinteresque Voice Assistants: hoe wilt u geknipt worden?

Technologie wordt vaak zodanig ontworpen dat we er menselijke eigenschappen aan gaan toedichten. Alexa wordt bijvoorbeeld ‘zo menselijk mogelijk gemaakt’. Maar als we menselijke eigenschappen op AI’s projecteren, gaan we onze eigen eigenschappen vervolgens ook meer vormen naar deze simulatie.

Onze opvattingen over waardevolle communicatie kunnen daardoor afvlakken tot wat een softwareproduct kan: informatie verwerken om een instructieset te genereren. De sociale context, emotionele wederkerigheid en meerwaarde van een gesprekspartner met bewustzijn gaan daarbij verloren. De vraag “Ga je nog op vakantie?” is niet letterlijk de vraag “Vertel me naar welke bestemming je deze zomer een vlucht hebt geboekt”. De subtekst is meestal “Zullen we met elkaar over iets praten?”

We bouwen een voice-assistent die niet – zoals Google Duplex – een afspraak bij de kapper kan maken, maar die het gesprek met je kapper kan overnemen. Om deze data te verzamelen gaan we met een antropoloog verschillende gesprekken tussen kappers en klanten observeren en registreren. Wat zijn de onderwerpen? Verschillen deze gesprekken per lokale context en per persoon? Deze data verwerken we in onze nieuwe voiceassistant.

3. Ai Ai Barbie says it's OK

Kid: "I feel shy trying to make new friends."
Barbie: "Feeling shy is nothing to feel bad about. Just remember this — you made friends with me right away."

In mei 2018 presenteerde Stefania Druga de eerste resultaten van haar onderzoek My Doll Says It’s OK: Voice-Enabled Toy Influences Children’s Moral Decisions. Een opzienbarend resultaat: slim speelgoed kan de morele keuzes van kinderen beter beïnvloeden dan mensen. We zien steeds meer opvoedrobots op de markt komen die ouders moeten ondersteunen bij het opstellen en volgen van opvoedkundige regels. Hoeveel koekjes zou je van een opvoedrobot mogen eten?

Het Internet of Toys is een opkomende markt. Het maatschappelijke debat richt zich vooral op slim speelgoed en privacy terwijl het gebruik van AI in speelgoed ook een hoop andere ethische vragen zou moeten oproepen. Met dit type speelgoed en opvoedrobots krijgen ouders namelijk de morele keuze voorgelegd om er wel of geen gebruik van te maken en de opvoeding wel of niet volgens het (AI-)boekje te doen. Hoe wetenschappelijk is dit boekje? En komen er straks verschillende opvoedstijlen in slim speelgoed?

Samen met Stefania Druga en het Creative Learning Lab van Waag Society gaan we dit onderzoeken.

4. DIY Algorithmic Clickbait movies

In zijn nieuwe boek New Dark Age beschrijft James Bridle hoe het is om video’s te maken voor het Youtube-algoritme. Goed geproduceerde video’s met echte acteurs, waarvan de inhoud volledig algoritmisch gedreven is, zijn al op de markt. “Its old school improvisation, only the cues are being shouted out by a computer fed on the demands of a billion hyperactive toddlers.”

Samen met de jonge makers Martijn de Vliegher en Jan Waatze Schuurman gaan we deze fascinerende wereld onderzoeken. Hoe is het om dit soort clickbait-movies te maken en slaan ze aan bij kinderen? En hoe is het als acteur om volgens een algoritmisch gegenereerd script te moeten spelen?

5. Digitale onsterfelijkheid

Al eeuwen vragen mensen zich af of zij hun leven kunnen vangen en bewaren in systemen. Transhumanisten dromen over een toekomst waarin zij hun hersenen kunnen uploaden in de cloud. Het scenario wordt op steeds meer plekken serieus genomen. Zo schakelde Google’s dochterbedrijf Calico de bekende futuroloog Ray Kurzweil in. Hij verwacht dat we in 2045 ons brein kunnen uploaden naar een computer en zo onsterfelijk kunnen worden.

Het zelf laten voortleven als intelligente robot is niet mogelijk, maar een aantal bedrijven claimen dat het wel mogelijk is om een wat zij noemen "bewustzijn" te kopiëren. Deze bedrijven bieden digitale kopieën van overledenen aan als service voor mensen die hun gestorven dierbaren missen.

In samenwerking met een socioloog onderzoeken we de grens tussen science en science-fiction in de wereld van de virtuele onsterfelijkheid.