De corona-app fabriek begint weer te roken

De corona-app fabriek begint weer te roken
© Lorenzo Quint
30 apr

De corona-app fabriek begint weer te roken

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze doet promotie-onderzoek naar authenticiteit en de vraag hoe kunstmatige intelligentie de afstand tussen mensen en machines verkleint.

Nu de samenleving open gaat is er een wildgroei aan apps en gadgets die moeten waarborgen dat we corona-proof de hort op kunnen. De strenge lockdown lijkt voorbij. Maar wat krijgen we daarvoor terug?

Fieldlabs, open-up apps, big data surveillance en digitale vaccinatiepaspoorten: wat voorheen ondenkbaar was, is nu geoorloofd. Ingrijpende wetswijzigingen worden doorgevoerd, werkgevers installeren sensoren en looproute-apps om hun personeel op 1,5 meter afstand te houden, en overheden houden burgers op steeds meer plekken in de gaten.

Wildgroei aan open-up apps

Vorig jaar zette de overheid al haar kaarten in op een corona-app die ons uit de lockdown moest halen. Na een hobbelige weg was daar dan eindelijk de CoronaMelder. In de media werd deze gepresenteerd als ‘de app die bepaalt of je naar buiten mag’. Achteraf bleek die claim overdreven, want de app werd maar 4,7 miljoen keer gedownload en ondanks een besmettingsmelding, bepaalden mensen zelf wel of ze in quarantaine zouden gaan. Inmiddels is de app offline gehaald vanwege een privacylek. 

Het debat over de beruchte app die bepaalt of je naar buiten mag bleek een jaar te vroeg.

Het maatschappelijke debat over de beruchte app die bepaalt of je naar buiten mag bleek een jaar te vroeg. Want de CoronaCheck app  ̶  de nieuwe app van de overheid waarmee we moeten aantonen dat we coronavrij zijn  ̶  bepaalt pas ècht of je ergens naartoe kunt.

En dat is niet het enige. Nu de samenleving voorzichtig aan meer open gaat, is er een wildgroei aan open-up apps en technologische hulmiddelen die moeten waarborgen dat we corona-proof de hort op kunnen. Denk bijvoorbeeld aan winkelroute-apps die ons op 1,5 meter afstand houden, shop-stoplichten om overvolle winkels te voorkomen, en apps waarmee we overvolle recreatieplekken bij handhavers kunnen melden.

LEVEN MET OPEN-UP TECHNOLOGIE
Precies een jaar geleden startte SETUP haar eigen onderzoek naar de impact van corona-apps. Dat resulteerde in drie prikkelende ontwerpen over omgaan met macht, veiligheid en nieuwe sociale structuren. Onder het motto 'Alleen samen we krijgen we corona-apps onder controle' presenteerden de makers hun ontwerp aan experts en publiek in een heuse appathon. De ontwerpen zijn genomineerd voor de Dutch Design Award en fungeren komende maand als lens om naar de ethische implicaties van open-up technologie te kijken.

Tekst loopt door onder afbeelding.

© Whippr // Nicky Liebregts & Niels Sinke

MACHT
Deel jij orders uit, of mag je ze ontvangen? Nicky Liebregts & Niels Sinke ontwierpen de BDSM geïnspireerde app 'Whippr'. De app gebruikt principes uit de BDSM-wereld om een goede balans te vinden tussen macht, controle en vertrouwen. Hoe ziet deze balans eruit met de nieuwe CoronaCheck app? Wat is het stopwoordje van de Check-app? Hoe, wanneer en door wie kan de check app worden ingezet, en om wat te bereiken? Hoe bepaal je welke evenementen afhankelijk worden van het delen van medische gegevens?

© Patrona // Collectief SMELT en Tom Schouw

VEILIGHEID
Was je vaak je handen? Zie je veel mensen op een dag? Veiligheid betekent voor iedereen iets anders. Daarom ontwierpen Collectief SMELT en Tom Schouw 'Patrona'. Vul online jouw gedragspatroon in en print deze op een mondkapje. Met Patrona kijken we naar de manier waarop open-up apps onze veiligheidsbeleving beïnvloeden. Hoe verhouden persoonlijke veiligheidsbeleving en het wetenschappelijke veiligheidsideaal van de overheid zich tot elkaar? Hoe tijdelijk en waterdicht is de CoronaCheck app? Hoe veilig willen we zijn? En voor hoe lang?

© Covid Pack // Gerjanne van Gink en Aina Seerden

SOCIALE STRUCTUREN
Gerjanne van Gink en Aina Seerden ontwierpen de Covid Pack: hét analoge alternatief voor de corona-app. Je gezondheid bepaalt de lengte van het touw. Behoor je tot een kwetsbare groep? Dan krijg je 50 meter touw per week. Ben je gezond? 1000 meter touw per week. Vitaal beroep? 30.000 meter touw per week. De Covid Pack maakt tastbaar op welke manier technologie sociale structuren beïnvloedt. Welke dynamiek ontstaat er bijvoorbeeld tussen mensen die de CoronaCheck app wel gebruiken en mensen die dat niet doen? En is het rechtvaardig om negatief geteste en gevaccineerde mensen meer rechten te geven? Ontstaat er een nieuwe tweedeling tussen mensen die dit nieuwe regime vanzelfsprekend vinden, en mensen die dat niet vinden?

Technologische controlesamenleving

Vorig jaar schreeuwden we moord en brand vanwege de CoronaMelder die zou bepalen of we naar buiten mogen. Inmiddels lijken we de controle-samenleving met alle open-up-technologieën geen probleem te vinden. Want we hebben er alles voor over om weer de hort op te gaan.

Maar in onze wanhopige poging om zo snel mogelijk weer terug te gaan naar het oude normaal, verkwanselen we het potentieel van de pandemie als gamechanger. Daarmee zetten we geen structurele verandering in gang, maar wel een steeds verdergaande technologische controlesamenleving.

Groene vinkjes geven een gevoel van controle. Maar controle is niet hetzelfde als een probleem aanpakken.

Klokkeluider Edward Snowden waarschuwde aan het begin van de pandemie dat een technologische controlestaat goed kan gedijen wanneer er sprake is van een gemeenschappelijke bedreiging. Maar de overhaaste maatregelen die tijdens een crisis worden geïmplementeerd, zijn vaak minder tijdelijk dan we denken. Zo maakte de achteraf niet zo tijdelijke Patriot Act het mogelijk dat Amerikaanse burgers tot op de dag van vandaag makkelijker worden afgeluisterd. Nu de corona-surveillance blijft toenemen waarschuwt Snowden: "The emergency never ends, these monitoring systems will not only be used to monitor our health".

Omdat we te maken hebben met een dodelijke pandemie, hebben we controle en overzicht nodig. Alle technologie die daaraan bijdraagt is legitiem, althans, dat is de heersende gedachtegang. Maar wanneer we uitzoomen en kijken naar de langere termijn, is de redenering dat alles geoorloofd is om weer veilig naar buiten te kunnen helemaal niet zo logisch en vanzelfsprekend.

De socioloog Jacques Ellul (1912 - 1994) schreef in de jaren tachtig zijn boek The Technological System. Daarin laat hij zien dat onze wereld niet wordt aangestuurd door machtige bedrijven, politieke besluitvorming, of  ̶  helaas voor alle complotdenkers  ̶  een kleine elite. Nee, de wereld wordt aangestuurd door technologie. Niet in de vorm van machines en apparaten, maar in de vorm van een overkoepelend technologisch systeem waarin al onze politieke, economische, sociale, morele, en culturele subsystemen zijn ingebed.

Technologie is sinds de industriële revolutie zo allesbepalend geworden, dat het een autonome kracht is geworden waar we ons niet meer kritisch toe kunnen verhouden. Het technologische systeem heeft een eigen dynamiek; het drijft zichzelf aan met eigen wetten en regels. Volgens Ellul kunnen mensen niet meer voorbij dit technologische systeem kijken. Sterker nog, we beseffen niet eens dat we erin zitten.

Meten is weten, is het adagium. Maar meten betekent ook vergeten.

Het perspectief van Ellul dreunt na in alles om ons heen. Bijvoorbeeld in de manier waarop we ons vastklampen aan RIVM modellen en surveillance-systemen die steeds meer bepalen hoe we hoe we ons gedragen. Meten is weten, is het adagium.

Maar meten betekent ook vergeten. Wie voorbij het technologische systeem kijkt, ziet dat er veel dingen zijn die we niet kunnen kwantificeren maar die wel heel belangrijk zijn. Psychisch welbevinden en financiële problemen zien we bijvoorbeeld niet terug in de besmettingsmodellen. En dat geldt ook voor de sociale schade die corona- surveillance met zich meebrengt. Het alziende oog van de overheid gaat voor steeds meer groepen gepaard met een gevoel zich te moeten conformeren aan het plaatje van de perfecte burger om maatschappelijke uitsluiting te voorkomen.

Naast de teloorgang van het niet-kwantificeerbare coronaleed, zien we Ellul’s perspectief ook terug in onze omgang met de dood. Technologie maakte van de dood een technisch probleem dat kosten wat het kost moet worden opgelost. Ook hier geldt: wie voorbij het technologische systeem kijkt ziet iets anders.

Ja, de dood is een probleem dat moet worden opgelost. Maar niet ten koste van het leven zelf. Zo verklaart wetenschapshistoricus Bert de Munck: "Ouderen mogen hun kleinkinderen niet zien. Jongeren mogen nauwelijks met vrienden omgaan. Het wordt als onvermijdelijk voorgesteld, maar dit gaat over de essentie van ons mens-zijn. Om de ziekte in te dammen en de dood te bezweren mag blijkbaar het leven zelf worden opgeschort. Nochtans blijft het aantal gezonde levensdagen dat er gemiddeld mee wordt gewonnen heel beperkt."

Sommigen vinden deze redenering respectloos naar oudere generaties. Maar dat is makkelijk oordelen. In een commercieel zorgsysteem met een toenemend personeels- en financieringstekort is de ongemakkelijke vraag wat een mensenleven mag kosten en wanneer iemand is uitbehandeld een nuchtere realiteit. Bovendien worden we steeds ouder en krijgen we door klimaatverandering vaker te maken met woekerende virussen. We zullen in toekomst dus wel vaker met dit soort ongemakkelijke vragen te maken krijgen.

Beheersing ten koste van het leven zelf

Dat we met een systeem van fieldlabs, check-apps en massa-surveillance pandemieën kunnen beheersen klinkt aanlokkelijk, maar het is een vat vol teleurstellingen. Technologische beheersing is uiteindelijk  ̶  hoeveel privacy we ook overboord gooien  ̶  een illusie gebaseerd op menselijke zelfoverschatting en korte termijn denken.

Groene vinkjes bij de deur geven een gevoel van controle. Maar controle is niet hetzelfde als het probleem bij de wortel aanpakken. Zo twitterde viroloog Marion Koopmans of we die 700 miljoen euro die nu naar open-up experimenten gaan ook niet kunnen investeren in onderzoek naar pandemiepreventie:

We kunnen stukje bij beetje een verstikkende controlesamenleving optuigen die zijn weerga niet kent, maar we kunnen dat geld ook gebruiken om pandemieën te voorkomen. Wetenschappers berekenden dat de kosten voor pandemie risicobeperking; denk aan het inkrimpen van de veestapel en het tegengaan van wildmarkten en ontbossing, slechts twee procent omvatten van de totale economische schade van Covid-19.

Surveillance-technieken worden ook ingezet voor uniformiteit in denken, en het onderdrukken van minderheden.

Nu de terrassen open gaan lonkt het oude normaal. Maar het oude normaal is precies wat ons hier gebracht heeft. Het oude normaal is goedkope vliegtuigtickets en smeltende ijskappen waardoor nieuwe virussen loskomen. Het oude normaal is intensieve veehouderij en razendsnelle industriële globalisering waardoor virussen makkelijker overspringen van dier op mens. Het oude normaal is de denkfout dat beheersing ten koste mag gaan van het leven zelf.

Ellul’s analyse lijkt te kloppen: we worden aangestuurd door een technologisch systeem waartoe we ons niet kritisch kunnen verhouden. In plaats van massa-surveillance, open-up apps en digitale vaccinatiepaspoorten te bevragen, zien we China als voorbeeld. Daar doet de bevolking niet zo moeilijk over privacy en gaat het collectief tenminste nog boven het individu. Wat we niet zien is hoe diezelfde surveillance-technieken ook worden ingezet voor uniformiteit in gedrag en denken, en het onderdrukken van minderheden zoals de Oeigoeren.

Niet alleen in China maar ook hier raken intrinsieke waarden zoals vrijheid en het recht om niet gemeten te worden onderschikt aan een gezond leven zonder risico’s. Burgers worden gezien als irrationele wezens die tegen hun ongezonde keuzes en risicovolle gedrag beschermd moeten worden. En nu overheden en bedrijven onder het mom van crisisbestrijding op nog grotere schaal data delen, vervaagt de grens tussen subtiel nudgen en ons gedrag zo voorspelbaar mogelijk maken. Sturende technologieën dringen niet alleen onze persoonlijke levenssfeer en publieke ruimtes binnen, maar ook onze online informatiesfeer.

Bijvoorbeeld door middel van het automatisch verwijderen van desinformatie, terwijl het onderscheid tussen goede en foute informatie niet altijd duidelijk is. Omdat corona-onderzoeken direct online verschijnen, belanden veel studies nog vóór experts er goed naar hebben gekeken, in de handen van artsen, politici en journalisten. Daardoor kunnen conclusies te vroeg als waarheid worden gepresenteerd.

We besteden ons morele kompas uit aan overheden, bedrijven en apps die bepalen wat goed voor ons is.

Ook het verschil tussen desinformatie en onwelgevallige informatie is niet altijd duidelijk. Kritische artikelen en interviews worden automatisch van social media verwijderd, omdat ze gezien worden als gevaarlijk voor de eenheid van orde. Maar die kritische geluiden kun je beter insluiten in de maatschappelijke discussie. Zo voorkom je dat groepen met radicale denkbeelden nog verder wegglijden in hun eigen social media kanalen.

We moeten ervoor waken dat we straks zelf niet meer kunnen nadenken omdat we ons morele kompas volledig hebben uitbesteed aan overheden, bedrijven en apps die weten wat goed voor ons is.

Virus van korte termijn oplossingen

Aan het begin van de pandemie was er hoop op structurele verandering. Corona had de zwaktes in ons systeem blootgelegd en nu was er dan eindelijk ruimte voor solidaire oplossingen met oog voor de lange termijn. Maar onderweg verloren we onszelf in het technologische systeem en werden we geïnfecteerd met het virus van de korte termijn oplossingen.

Voorkomen is beter dan genezen, knikten we instemmend mee met Arjen Lubach.

Maar niet in The Technological System. In The Technological System vinden we een groen corona-vinkje belangrijker dan een groene planeet voor een volgende generatie. In The Technological System geloven we onszelf en onze planeet uit de crisis te kunnen innoveren met slimme gadgets. In The Technological System passen we ons destructieve gedrag niet aan omdat we te druk zijn met het bouwen van een supercomputer die tot ver achter de komma berekent hoe ernstig de impact van klimaatopwarming zal zijn.

Maar misschien heeft Ellul ongelijk. Want we kunnen wel degelijk voorbij het technologische systeem kijken. Dezelfde innovatiepush die we nu investeren in onze supercomputers, kunnen we ook investeren in het vereenvoudigen van het overkoepelende systeem waarin onze technologieën zijn ingebed. Meer data, meer surveillance, meer rekenkracht, meer computersystemen, meer tandeloze technologie-ethiek en meer onnavolgbare complexiteit gaan ons niet verder helpen.

De open-up samenleving en de rol van technologie vragen om bezinning en een breder perspectief.

Dat merkte onderzoeker Leidy Klotz ook toen hij met zijn zoon een brug van lego bouwde. De brug stond scheef. Hij wilde een blokje toevoegen aan de poot die te kort was, maar zijn zoon was hem voor. Die had namelijk van de lange poot al een blokje weggehaald. Probleem opgelost.

De optie om iets te schrappen of ergens mee te stoppen komt niet in ons op. In The Technological System maken we het liever ingewikkelder in plaats van simpeler. Een algoritme dat discrimineert? Weet je wat, we bouwen een algoritme dat discriminerende algoritmes controleert. Een belastingmaatregel die niet werkt? We verzinnen een uitzondering bovenop de belastingmaatregel. Dat is de complexiteit waar overheden, bedrijven en burgers dagelijks in vastlopen en waar niemand beter van wordt.

Misschien moeten we wat vaker dingen weghalen, en met dingen stoppen in plaats van alleen maar meer dingen toe te voegen. Laten we het technologische systeem ontleden en vereenvoudigen, en kijken of we het voor ons kunnen laten werken in plaats van andersom. Daarvoor hebben we geen commissie voor digitale zaken nodig, maar een commissie voor bureaucratie- en ICT vermindering. Dan kan die energie slurpende ICT footprint tenminste ook meteen omlaag.

VOORUIT KIJKEN MET MAKERS
De open-up samenleving en de rol van technologie vragen om een breder perspectief. Benieuwd wat we kunnen leren van Whippr, Covid Pack en Patrona en welke nieuwe inzichten deze ontwerpen opleveren? Hou onze website en social media kanalen in de gaten.

Lees de uitgebreide versie van dit artikel in Vrij Nederland