De wake-up call van Shoshana Zuboff: we worden geautomatiseerd

De wake-up call van Shoshana Zuboff: we worden geautomatiseerd
26 okt – Leestijd 10 min

De wake-up call van Shoshana Zuboff: we worden geautomatiseerd

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze onderzoekt de betekenis van authenticiteit, autonomie en imperfectie in de context van opkomende digitale technologieën.

525 pagina's over een ontmenselijkend verdienmodel zijn letterlijk en figuurlijk geen lichte kost. Omdat het wel heel belangrijke kost is, een bespreking van het monumentale boek 'The Age of Surveillance Capitalism' van Harvard-professor Shoshana Zuboff.

Het ethische debat over big data is vooral gericht op privacy en gegevensbescherming. Een veel gehoorde oplossing is data ownership: maak gebruikers eigenaars van hun data en de oneerlijke machtsbalans tussen techbedrijven en gebruikers zal verdwijnen. De wijze waarop dit debat wordt gevoerd en de aangedragen oplossingen laten zien dat we het uitbuitende verdienmodel achter onze digitale wereld niet goed begrijpen, en dat we de techno-sociale uitdagingen waar we voor staan onderschatten.

Verbannen uit ons eigen gedrag

We bevinden ons in een nieuw tijdperk van kapitalisme waarbij menselijke ervaringen door techbedrijven worden toegeëigend als gratis grondstof voor gedragsvoorspelling.

Wat wij doen, waar we dat doen, en met wie, wordt doorlopend afgeleid uit onze telefoons, auto's, straten, plattegronden, huizen, winkels, lichamen, bomen, gebouwen, luchthavens en steden:

"Although some of these data are applied to service improvement, the rest are declared as a proprietary behavioral surplus, fed into advanced manufacturing processes known as ‘machine intelligence’, and fabricated into prediction products that anticipate what you will do now, soon, and later. Finally, these prediction products are traded in a new kind of marketplace that I call behavioral futures markets. Surveillance capitalists have grown immensely wealthy from these trading operations, for many companies are willing to lay bets on our future behavior."

Hoewel het makkelijk is om verward te raken door de gelaagdheid van de problemen die Zuboff beschrijft, is de kern van het probleem kraakhelder: voorspellingstechnieken van techbedrijven creëren een alarmerende asymmetrie in kennis en macht, waardoor we verbannen worden uit ons eigen gedrag.

Wanneer we de mogelijkheid zouden krijgen om onze data te bezitten, lost dat het probleem niet op omdat we daarmee nog steeds geen controle zouden hebben over de inzichten en voorspellingen die uit onze data worden afgeleid. Een belangrijke les uit Zuboffs boek is dan ook dat het geen zin heeft om gegevens te bezitten die niet zouden mogen bestaan.

Techbedrijven sturen ons gedrag zodat ze betere gedragsvoorspellingen aan bedrijven kunnen verkopen.

Het basisprincipe van de voorspellende techniek van techbedrijven is simpel: de makkelijkste manier om gedrag te voorspellen is zorgen dat je het zelf vorm kunt geven. Door ons gedrag te sturen kunnen techbedrijven meer zekerheid en winstgevende gedragsvoorspellingen aan bedrijven verkopen. Dat krijgen ze voor elkaar door interventies te ontwerpen die onzekerheid elimineren en ons gedrag 'nudgen'. Bijvoorbeeld door gepersonaliseerde nieuwsberichten en reclames in je Facebook-nieuwsfeed te plaatsen, door een koopknop op specifieke momenten te laten verschijnen, of door je automotor uit te schakelen wanneer je te laat bent met een betaling aan de verzekering.

Met de opkomst van slimme sensoren kan elke soort gedrag worden geregistreerd, geanalyseerd en bijgestuurd om keuzes aan te moedigen die de architect ten goede komen, niet het individu. Aan de hand van een analyse van Pokémon Go, laat Zuboff zien dat bedrijven dit ook al kunnen zonder sensoren. Het spel is geprezen omdat het jongeren meer zou laten buitenspelen, maar Zuboff ontmaskert het als een middel om gedrag in te zetten voor lokale marktkansen “where high bidders enjoy an ever-closer approximation of guaranteed outcomes.

De schaduwtekst

Aan de hand van the problem of two texts legt Zuboff uit hoe deze gedragsinterventies plaats kunnen vinden zonder dat wij dit door hebben.

De eerste tekst is samengesteld uit alles wat wij op webpagina's achterlaten: berichten, blogs, video's, foto's, gesprekken, muziek, verhalen, observaties, likes en tweets. De eerste tekst fungeert als voeding voor de tweede tekst: de schaduwtekst. Alles wat we hebben bijgedragen aan de eerste tekst wordt gebruikt om behavioral surplus te onttrekken. Deze surplus vult vervolgens de pagina's van de tweede tekst, die alleen surveillancekapitalisten kunnen lezen. Op deze manier worden we ‘verbannen uit ons eigen gedrag’: we hebben geen toegang tot de kennis die is afgeleid uit onze on- en offline activiteiten, en geen controle over hoe deze kennis wordt omgezet in middelen voor andermans doeleinden.

Een andere reden waarom we hier geen controle over hebben, is omdat monitoring aan ons gepresenteerd wordt als leuk, competitief en bevredigend. We krijgen bijvoorbeeld beloningen voor 'gedragsverbeteringen' in de vorm van punten.

Het idee dat je zelf het product bent wanneer het gratis is, zet ons op het verkeerde spoor.

We accepteren monitoring omdat we het beschouwen als een onschuldige vorm van gamification, of we vinden het een eerlijke prijs voor een gepersonaliseerde gratis service. De logica dat je zelf het product bent als iets gratis is, zet ons op het verkeerde spoor en omvat niet de essentie van het surveillancekapitalisme:

"Surveillance capitalists poach our behavior for surplus and leave behind all the meaning lodged in our bodies, brains and beating hearts. Not unlike the monstrous slaughter of elephants for ivory. Forget the cliché that if it’s free you are the product. You are not the product; you are the abandoned carcass. The ‘Product’ derives from the surplus that is ripped from your life."

De vergelijking lijkt dramatisch, maar de verwijzing naar van het verlaten karkas klopt omdat wij niet zelf het product zijn, maar de natuurlijke hulpbronnen die van ons worden afgepakt.

De valse beloften van computational certainty

Zuboff waarschuwt dat we de gevolgen van het surveillancekapitalisme niet moeten onderschatten:

"If industrial civilization flourished at the expense of nature and now threatens to cost us the Earth, an information civilization shaped by surveillance capitalism will thrive at the expense of human nature and threatens to cost us humanity."

Ze is niet de eerste die bedreigingen voor de mensheid in een sociaal technologische context bespreekt. Vele filosofen, ethici en sociaal wetenschappers gingen haar voor, niet altijd met de meest overtuigende argumenten.

Zuboff is overtuigend omdat niet de technologieën zelf, maar het verdienmodel, het behavioristische mensbeeld en de ideologische principes die aan deze technologieën ten grondslag liggen centraal staan in haar analyse. Zo beschrijft ze hoe invloedrijke personen in Silicon Valley geïnspireerd zijn door gedragstheoretici zoals Skinner, Meyer en Planck. Deze theoretici geloofden dat met 'de juiste technologie van gedrag' en vooraf vastgestelde parameters, afwijkende en onwenselijke gedragingen geëlimineerd kunnen worden.

Surveillance kapitalisten werken aan een hive-mind: een menselijke simulatie van een machine learning-systeem.

In de geest van deze gedragstheoretici werken surveillance kapitalisten aan een hive-mind: een menselijke simulatie van een machine learning-systeem waarin elk element leert in contact met andere elementen. Hun doel is een computer-gemedieerde samenleving waarin we in volledige transparantie en op basis van immitatie, ons gedrag op elkaar afstemmen zodat we sociale patronen ontwikkelen die gemakkelijk kunnen worden voorspeld en gemanipuleerd. In deze ‘hive’ worden sociaal vertrouwen en politieke systemen vervangen door collectieve druk en computationele zekerheid.

Zuboff laat met verschillende voorbeelden en onderzoeksbronnen zien hoe deze hive-mind in de praktijk wordt gebracht. Ze bespreekt bedrijfspatenten, onderzoeksgroepen en invloedrijke personen in Silicon Valley zoals Alex Pentland. Hij is de directeur van het Human Dynamics Lab van MIT Media Lab en ontwikkelt samen met zijn doctoraatsstudenten methoden die menselijk gedrag moeten veranderen in voorspellende wiskunde. Met zijn ‘sociale fysica’ wil hij de mens coderen op basis van gedragspatronen, door middel van ‘onopvallende gedragsmonitors’ en een ‘naadloos zenuwstelsel dat de hele planeet bedekt’. Daarmee belooft Pentland ziekte, financieel risico, consumentenvoorkeuren en politieke opvattingen met een hoge nauwkeurigheid te kunnen voorspellen.

De hive-mind is een middel waarmee techbedrijven ons gedrag wistgevend kunnen maken voor de markt van gedragsvoorspellingen.

Waar tech-optimisten de hive-mind promoten als een middel om maatschappelijke problemen te voorspellen en voorkomen, demystificeert Zuboff het als een middel om ons gedrag wistgevend te maken voor de markt van gedragsvoorspellingen.

Wat Zuboff minder uitgebreid bespreekt, zijn de wetenschappelijke kritieken op de veronderstelde voorspellende kracht van big data. Zo heeft professor Andrew Fergusson uitgebreid gepubliceerd over de selffulfilling prophecy van voorspellend politiewerk op basis van big data, en heeft wiskundige Cathy ‘O Neil met haar bestseller Weapons of Math Destruction algoritmische bias en correlatie-causaliteit misverstanden op de interationale agenda gezet.

Wel bespreekt Zuboff hoe de realiteit wordt aangetast wanneer we onze complexe en meerduidige wereld in simpele datamodellen proberen te vangen:

"Data-models don’t capture reality; they shape reality and are therefore able to make predictions. This is how computational certainty can extinguish our felt reality."

De hive-mind wordt niet alleen in de praktijk gebracht door Alex Pentland geïnspireerde ontwikkelaars en datamodellen die een eigen voorspelbare werkelijkheid creëren.

Jongeren stemmen hun gedrag doorlopend af op een ingebeeld publiek.

Zuboff beschrijft hoe we de machine-hive in onze levens hebben verwelkomd via onze smartphones en social media. Omdat we permanent zijn vastgelijmd aan onze smartphones, zijn we allang omgeven door ‘onopvallende gedragsmonitoren’. En omdat bijna iedereen actief is op sociale media, worden onze sociale patronen al op grote schaal gemonitord en gemanipuleerd voor gegarandeerde resultaten. Zo blijkt uit psychologisch onderzoek dat jongeren zichzelf 'van buitenaf naar binnen ervaren' en hun gedrag onder invloed van sociale media afstemmen op een 'imagined audience'. Volgens Zuboff leidt dit tot geautomatiseerd gedrag:

"The magnetic pull that social media exerts on young people drives them toward more automatic and less voluntary behavior."

De toekomende tijd terugclaimen

Een veelgehoorde kritiek op Zuboff is dat ze 'het zoveelste boek over kapitalisme' heeft geschreven. Ja, het boek gaat over kapitalisme, maar het gaat bovenal over de vervanging van de maatschappij door gautomatiseerde systemen en geautomatiseerd gedrag. Over de toenemende invloed van bedrijven zijn vele boeken geschreven, maar deze gaan niet over de manier waarop bedrijven ons gratis geven wat wij willen (likes, shares, apps), tegen de verborgen kosten van de automatisering van de mens.

In tegenstelling tot veel andere schrijvers en wetenschappers, slaagt Zuboff erin om uit te leggen wat er op het spel staat omdat ze kan verwoorden wat ze bedoelt met ‘menselijk’ en 'ontmenselijkend'. We riskeren onze menselijkheid te verliezen omdat machineprocessen niet alleen informatiestromen over ons automatiseren, maar nu ook ons automatiseren:

"In modifying our behavior for profit without our awareness, surveillance capitalism shifts the locus of control over the future tense from ‘I will’ to ‘You will’, supplanting autonomous action with heteronomous action, resulting in more automatic and less voluntary behavior."

Onze innerlijke ervaringen van waaruit wij een eigen wil ontwikkelen en de ruimte om naar die wil te handelen staan op het spel.

Wat er op het spel staat -zoals Zuboff concreet beschrijft- zijn niet alleen onze innerlijke ervaringen van waaruit wij onze eigen wil formuleren, maar ook de ruimte om naar die wil te handelen. Daarom pleit Zuboff voor the right to sanctuary: we hebben recht op plekken waar we niet gemonitord en gemeten worden en innerlijke ervaringen kunnen hebben van waaruit we onze eigen gedachten, waarden, intenties en acties vormen.

Geïnspireerd door Hannah Arendt ziet Zuboff onze persoonlijke wil als een orgaan voor de toekomst: “the act of our will is our claim to the future tense". Daarom pleit ze naast the right to sanctuary ook voor the right to the future tense: het recht om te kunnen handelen zonder de tussenkomst van onwettige, externe invloeden die buiten ons bewustzijn ons gedrag conditioneren voor andermans gewin.

The Age of Surveillance Capitalism geeft ons een vocabulaire waarmee we ons beter kunnen wapenen tegen de oneerlijke macht- en kennis balans. Het boek zou ons om een ​​belangrijke reden moeten alarmeren: wij -burgers, jongeren, journalisten, wetenschappers, beleidsmakers- kunnen het tij nog keren. De wetteloze post 9/11 sfeer waarin het surveillancekapitalisme heeft kunnen floreren hoeft niet onomkeerbaar te zijn.

Voortbouwend op antropoloog Laura Nader, begrijpt Zuboff wetten als mogelijkheden van democratische empowerment. Ze pleit voor collectieve actie en het afdwingen van wetten die the right to sanctuary en the right to the future tense verdedigen.

Volgens Zuboff is het grootste gevaar dat we ons thuis gaan voelen in een glazen huis zonder privacy en dat we het normaal gaan vinden om ingewikkelde trucs te moeten uithalen (denk aan anti-facial recognition maskers) om niet gevolgd te worden:

"When I speak to an audience of young people, I try to alert them by calling attention to ordinary values and expectations before surveillance capitalism began its campaign of psychic numbing. I tell them that the word 'search' has meant a daring existential journey, not a finger tap to already existing answers; that ‘friend’ is an embodied mystery that can be forged only face-to-face and heart-to-heart; and that 'recognition' is the glimmer of homecoming we experience in our beloveds face, not ‘facial recognition'. I say that it is not OK to have our best instincts for connection, empathy, and information exploited by a draconian quid pro quo that holds these goods hostage to the pervasive strip search of our lives. It is not OK for every move, emotion, utterance, and desire to be catalogued, manipulated, and then used to herd us through the future tense of the sake of someone else’s profit. These things are brand-new, you should not take them for granted because they are not OK."

Elke bedreiging voor menselijke autonomie begint met een aanslag op ons bewustzijn. Laat dit boek een sleutel tot bewustwording zijn.