Dit punt maakten we deze week in de Tweede Kamer

Dit punt maakten we deze week in de Tweede Kamer
© Sebastiaan ter Burg
27 sep – Leestijd 8 min

Dit punt maakten we deze week in de Tweede Kamer

Frank-Jan van Lunteren
Frank-Jan is redacteur en koekjesverslinder bij SETUP.
Siri Beerends
Siri is cultuursocioloog en schrijver. Ze onderzoekt de betekenis van authenticiteit, autonomie en imperfectie in de context van opkomende digitale technologieën.

SETUP op bezoek bij de Tijdelijke Commissie Digitale Toekomst.

De Tweede Kamer heeft een Tijdelijke Commissie Digitale Toekomst ingesteld om meer grip te krijgen op digitalisering. Met deze commissie wil de Kamer zichzelf zo goed mogelijk organiseren en het eigen kennisniveau over (toekomstige) ontwikkelingen verhogen. SETUP werd uitgenodigd om deel te nemen aan een kennis bijeenkomst. Welke thema's vragen wat ons betreft om meer aandacht?

We gingen er met gestrekt been in: om meer handelingsperspectieven te creëren, moeten we loskomen van het big data-evangelie zoals dat vanuit Silicon Valley wordt gepredikt. Dat big tech machtig is, weten we inmiddels wel. Dat big tech publieke waarden kan aantasten, is ondertussen ook duidelijk. Hoewel het belangrijk is om onwenselijke gevolgen in te perken met wetten van bovenaf, moeten we ook kijken wat we van onderop kunnen doen. Vanuit dit vertrekpunt maakte we de noodzaak van artistiek ontwerpend onderzoek duidelijk. Met deze vorm van onderzoek kunnen we toekomstige technologie scenario's doordenken en de ethische implicaties van digitale ontwikkelingen invoelbaar maken. Zodat niet alleen tech-experts en Elon-Musketeers kunnen meedenken en meebouwen aan onze digitale toekomst, maar een bredere groep mensen betrokken raakt.

© Dongwei Su
Uniformen en bevoegdheden van ordehandhavers herkennen met RANG

1. Maatschappelijke zorgen

Tegenwoordig communiceren we met digitale assistenten, besteden we steeds meer beslissingen uit aan algoritmen en zijn we met onze slimme steden, huizen en apparaten permanent aangesloten op het internet. Veel van deze toepassingen zijn voor burgers onzichtbaar en ongrijpbaar. Daardoor weten zij vaak niet welke belangen deze systemen behartigen, en op grond van welke data welke beslissingen zijn gemaakt. Zowel binnen als buiten de wetenschap bestaan grote zorgen, onder andere over de invloed van surveillance-technologie op onze autonomie, het surveillance-kapitalisme en de automatisering van sociale ongelijkheid.

Dat betekent niet dat de data-industrie nog steeds het wilde westen is. Publieke waarden als transparantie, privacy, autonomie en inclusiviteit staan inmiddels hoog op de politieke en juridische agenda. Toch hobbelt regulering vaak achter de markt aan. In de GDPR zitten bijvoorbeeld verschillende loopholes en lokale overheden hebben moeite om grip te krijgen op de schaduwkanten van mondiale deelplatformen zoals Uber. Wat er mis kan gaan, wordt vaak pas duidelijk als het mis gaat.

2. Blinde vlekken

In het ethische debat over technologie zien we een aantal blinde vlekken:

  • Meten is niet altijd gelijk aan weten. Anders dan de ideologie van het dataïsme ons wil doen geloven, zijn niet alle aspecten van menselijk gedrag te vangen in big data. Niet alle situaties waarin burgers verkeren passen in een algoritmisch model en niet elke context is even geschikt voor algoritmisering. Denk bijvoorbeeld aan het voorspellen van risicogedrag, of de inzet van recruitmentalgoritmes door bedrijven.
  • Intellectual debt. Systemen rondom machine learning draaien voornamelijk op statische correlatie, waarbij antwoorden zonder verklaringen ontstaan. Volgens computerwetenschapper Jonathan Zittrain leidt dat tot een intellectuele schuld, waarmee we afhankelijk worden van systemen die ons vertellen wat we moeten doen zonder dat we echt begrijpen waarom.
  • Overschatting van AI: het verdienmodel van big data zorgt ervoor dat we AI stelselmatig overschatten, en de mens onderschatten.
  • Human intelligence: we moeten ons geen zorgen maken over kunstmatige intelligentie die de mens vervangt, maar onderzoeken hoe mens en machine complementair zijn aan elkaar. We moeten niet alleen investeren in machine learning, maar ook in human learning.
  • Ecologische kosten digitalisering: data-opslag, data verwerking, het trainen van machine learning modellen en globale netwerken die wereldwijd met elkaar communiceren vergen veel meer elektriciteit en energie dan wetenschappers aanvankelijk hadden vermoed. De kamer moet daarom investeren in energie-efficiënte oplossingen en oplossingen zonder IT.

Onder de streep zien we dat we snel overgaan tot maatschappelijke acceptatie, maar dat de maatschappelijke dialoog achterblijft.

© Sebastiaan ter Burg
Lezing Virginia Eubanks over geautomatiseerde ongelijkheid

3. Ontwerpend onderzoek

SETUP ziet meerwaarde in artistiek ontwerpend onderzoek. Hiermee zijn we in staat om blinde vlekken in het technologische debat bloot te leggen. Dat staat niet op zichzelf, maar juist naast andere vormen van onderzoek:

  • Academisch onderzoek in de wetenschappelijke community stelt de vraag 'Wat is waar?'
  • Onderzoek in het bedrijfsleven gaat over economisch rendement en stelt de vraag 'Wat is praktisch mogelijk?'
  • Artistiek onderzoek in het publieke domein stelt de vraag 'Wat is wenselijk?'

Waar wetenschappelijk onderzoek werkt volgens gereguleerde methoden, biedt artistiek onderzoek ruimte om te exploreren, en inzichten te uiten in andere vormen dan tekst. Wetenschappelijk onderzoek kijkt terug, artistiek onderzoek kijkt vooruit en stelt vragen over wat wenselijk is. Zo wordt de digitale toekomst invoelbaar voordat hij arriveert en stellen we politiek en samenleving in staat om ethisch bij te sturen waar nodig.

4. In de praktijk

Onze onderzoeksresultaten fungeren als brandstof voor een ethisch debat over technologie. Een voorbeeld is onze algoritmische sollicitatie-installatie. Sollicitanten worden steeds vaker gevraagd om een sollicitatievideo van zichzelf op te nemen. Gezichtsuitdrukkingen, woordkeuze en stemklank worden automatisch gekwantificeerd en omgezet in een profiel. Alleen de 'beste matches' komen uiteindelijk bij de HR-manager op het bureau. Onze installatie opent deze black box en laat live zien hoe deze metingen en beslissingen werken. Daarmee wordt inzichtelijk hoe moreel beladen en soms ronduit onbetrouwbaar deze kwantificeringen zijn.

Kenmerkend voor het ontwerpende onderzoek van SETUP is dat we gereedschappen ontwikkelen waarmee burgers nieuwe technologieën kunnen vieren, maar zich ook kunnen wapenen tegen de risico's. Zo ontstaat een nieuw vocabulaire om over deze ontwikkelingen te kunnen praten. In navolging van onze sollicitatie-installatie werken we bijvoorbeeld samen met de Nederlandse Stichting voor Psychotechniek aan de 'real life' casus hoe AI de diversiteit op de arbeidsmarkt kan bevorderen of frustreren. Ook staan we op bedrijfsevenementen voor HR-professionals, en wordt er in landelijke media over deze werken geschreven. Wat begint bij ontwerpend onderzoek, leidt tot programma's voor onderwijs- onderzoeks- en overheidsinstellingen, als ook bedrijfsleven en journalistiek.

© Bart Leguijt
Algoritmisch solliciteren

5. Maatschappelijke functie

Waar wetenschappelijk onderzoek is gericht op de vraag wat waar is, en bedrijven vooral onderzoeken wat geld oplevert en praktisch mogelijk is, is artistiek ontwerpend ondezoek gericht op de ethische vraag wat wij als maatschappij willen. Artistiek onderzoek heeft een belangrijke maatschappelijke functie: verbeelden, verbinden, agenderen en (be)vragen wat we wenselijk vinden. Naast beleid, wet- en regelgeving heeft de Kamer met de NWO een krachtig wapen in handen om een strategische onderzoeksagenda te kaderen. Om dat te bereiken moet meer financiering komen voor public research die zich bij uitstek richt op het maatschappelijke domein.

SETUP pleit ervoor dat wanneer overheid en bedrijfsleven geld investeren in wetenschappelijk onderzoek, zij een vast percentage van het onderzoeksbudget reserveren voor artistiek ontwerpend onderzoek naar de maatschappelijke impact van technologie. Denk hierbij aan grootschalige ICT-projecten. Kunnen we verantwoordelijker innoveren als er 2% van het budget wordt besteed aan onderzoek naar de maatschappelijke impact van die ICT-systemen?

© Sebastiaan ter Burg
Algoritmisch Historisch Museum in Den Haag

Tot slot

Liever laten we zien hoe dit eruit ziet, dan er alleen over te praten. Van 23 september tot en met 6 oktober staan we met het Algoritmisch Historisch Museum in het Atrium in Den Haag. In dit semi-fictieve museum vervalsen we de Nederlandse geschiedenis en schetsen we een wereld waarin algoritmen al eeuwenlang voorhanden zijn. Hadden we onder zelfbevestigende feedbackloops ooit kunnen afrekenen met onrecht, ongelijkheid of een beklemmende moraal? Bekijk de Nederlandse geschiedenis door een algoritmische bril en ontdek hoe technologie sociale ontwikkelingen stuurt. Ontmoet bijvoorbeeld je ideale (katholieke) partner uit de jaren '50 in Verzuilingstinder. Of maak je eigen zielevlek in een datagedreven jaren '20 versie van een beroepentest. Dit project is een samenwerking met het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.