Anti-racisme demonstraties en de tweet van Trump: een snelkookpan voor tech-verantwoordelijkheid

Anti-racisme demonstraties en de tweet van Trump: een snelkookpan voor tech-verantwoordelijkheid
© Niels Sinke
17 jun – Leestijd 10 min

Anti-racisme demonstraties en de tweet van Trump: een snelkookpan voor tech-verantwoordelijkheid

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze doet onderzoek naar authenticiteit en de manier waarop mensen en samenlevingen onder invloed van kunstmatige intelligentie meer op machines gaan lijken.

When the looting starts, the shooting starts: met deze tweet verdeelde president Trump niet alleen zijn burgers, maar ook de social media platformen. Waar Twitter een waarschuwing boven het bericht plaatst, laat Facebook het bericht ongehinderd staan. Medewerkers zijn boos en nemen ontslag. Zijn we in een snelkookpan voor tech-verantwoordelijkheid beland?

Aanleiding voor de tweet waren de protesten na de dood van George Floyd. De zwarte man overleed nadat een witte agent in Minneapolis minutenlang een knie op zijn hals had gedrukt. In Amerikaanse steden ontaardde de protesten tegen het gewelddadige politie-optreden in rellen. Met zijn bericht “Als het plunderen begint, begint het schieten” maakte Trump wereldkundig dat hij het leger kon gaan inzetten.

De tweet refereert aan een uitspraak van de beruchte racistische politiechef Walter Headle.

De tweet is niet alleen controversieel vanwege de geweldsverheerlijking, maar ook omdat het een kopie is van een uitspraak die eind jaren zestig door de witte racistische politiechef Walter Headle werd gedaan. De quote refereert aan een verhaal op de voorpagina van de Miami Herald, waarin Headley zei dat er in Miami geen problemen waren met plunderingen omdat "het schieten begint wanneer het plunderen begint". Vlak daarvoor had Headly de oorlog verklaard aan criminelen waarbij zijn eerste doelwit zwarte mannen waren tussen de 15 en 21 jaar oud. Trump beweerde de geschiedenis achter de uitspraak niet te kennen. 

Zuckerberg kwam op zijn eigen facebookpagina met een verklaring waarom hij het bericht van Trump liet passeren:

"I've been struggling with how to respond to the President's tweets and posts all day. But I'm responsible for reacting not just in my personal capacity but as the leader of an institution committed to free expression."

Podium voor geweldsverheerlijking

In een online werkoverleg gaf Zuckerberg tekst en uitleg bij zijn beslissing. Behalve het recht op vrije meningsuiting, is zijn voornaamste reden dat mensen moeten kunnen weten of de regering van plan is om geweld te gebruiken. Maar een aantal boze Facebook werknemers stuurden een opname van het werkoverleg naar de pers. Daarin is te horen hoe zij hun onbegrip uitten over het besluit van Zuckerberg. Zo werd geinformeerd of hij ook mensen van kleur bij zijn beslissing had betrokken en werd hem ‘een gebrek aan ruggengraat’ verweten.

Maar dat is nog niet alles. Een deel van de werknemers stelden een out of office-bericht in als teken van protest, anderen lieten petities rondgaan en dreigden met ontslag als er niets zou veranderen. Inmiddels hebben een aantal van hen daadwerkelijk ontslag genomen. Bijvoorbeeld Timothy Aveni. Op zijn Facebookprofiel is te lezen dat hij niet langer wil rechtvaardigen dat Facebook een podium geeft aan politici om geweld te verheerlijken:

Op social media platformen worden genuanceerde berichten en genuanceerde emoties weinig beloond.

Dat het internet niet de gelijkheid, verbondenheid en democratie heeft gebracht waar digitale pioniers van droomden was al langer duidelijk. Door het systeem van likes, shares en retweets worden rechtlijnige zwart-wit berichten beloond, terwijl genuanceerde berichten en genuanceerde emoties weinig ruimte krijgen.

Tijdens de coronacrisis is dat niet anders. Volgens recent onderzoek van Hedonometer zijn de afgelopen weken de negatiefste weken op Twitter sinds het begin van de metingen in 2008.

De vraag is hoe we het tij kunnen keren en wie welke verantwoordelijkheid heeft. Als het aan de opgestapte Facebook-medewerkers ligt, hebben techbedrijven hierin een verantwoordelijkheid omdat zij niet moeten bijdragen aan de verdere verspreiding van geweldsverheerlijking. Is het nemen van tech-verantwoordelijkheid daarmee in een snelkookpan geraakt? Of hebben we hier te maken met de zoveelste Facebook-fittie en ligt het probleem dieper?

Net als Covid-19, kan buitensporig politiegeweld de volksgezondheid bedreigen. Zuckerberg sluit daarom niet uit zijn moderatiebeleid alsnog aan te passen.

Uit de gelekte opname van het werkoverleg blijkt dat Facebook niet uitsluit haar moderatiebeleid alsnog aan te passen als de maatschappelijke onrust blijft toenemen. Zo vertelde Zuckerberg dat vanwege de corona-crisis, Facebook al eerder hun beleid aanpaste om Covid-19 misinformatie te kunnen verwijderen. Omdat buitensporig politiegeweld -net als Covid 19- de volksgezondheid kan bedreigen, sluit Zuckerberg niet uit dat Facebook haar moderatiebeleid alsnog zal aanpassen.

Ondertussen kondigt Trump aan dat hij een wetswijziging wil doorvoeren die moet voorkomen dat social media platformen kunnen bepalen welke content wel en niet mag blijven staan.

De meetbare meerderheid

Door de corona-crisis en wereldwijde protesten tegen institutioneel racisme lijkt het vraagstuk over tech-verantwoordelijkheid en de verspreiding van haatdragende content in een stroomversnelling geraakt. Maar als we deze dialoog beperken tot het moderatiebeleid van Facebook komen we niet ver.

Achter de werkwijze van onze social media platformen en digitale technologieën gaat namelijk een meer fundamentele vorm van uitsluiting schuil:

"We have a small, elite group of men who tend to overestimate their mathematical abilities, who have systematically excluded woman and people of color in favor of machines for centuries, who tend to want to make science fiction real, who don’t believe that social norms or rules apply to them, who have unused piles of government money sitting around, and who have adopted the ideological rhetoric of far-right libertarian anarcho-capitalists. What could possibly go wrong?"

Voorbij de AI-hype, beschrijft Meredith Broussard in haar boek Artificial Unintelligence op welke manier wij een verkeerd beeld hebben gekregen van big data en kunstmatige intelligentie. Door uit te leggen hoe AI-systemen onze wereld misinterpreteren en wat er gebeurt als we de sociale werkelijkheid in AI-modellen stoppen, krijgen we een aardig beeld wat Broussard precies bedoelt met ‘what could possibily go wrong.’

Zo hebben we gezichtsherkenningssoftware met een etnische bias, risico-indicatiesystemen die minderheden stelselmatig benadelen, en algoritmen die mensen van kleur als risicogeval aanmerken waardoor ze moeilijker in aanmerking komen voor een huis, lening of baan.

IBM, Microsoft en Amazon stoppen met de verkoop van gezichtsherkenningstechnologie omdat de software mensen met een donkere huidskleur benadeelt.

Steeds meer wetenschappers, waaronder professor Charton McIlwain en socioloog Ruha Benjamin, waarschuwen dat sociale ongelijkheid en racisme geen ‘foutjes in de software’ zijn, maar structureel zijn ingebed in onze technologieën.

Dat komt door verschillende redenen. Ten eerste doordat een aantal van deze systemen zodanig zijn ontworpen dat ze minderheden criminaliseren. Zo schrijft Mcllwain:

"We’ve designed facial recognition technologies that target criminal suspects on the basis of skin color."

Dankzij de huidige aandacht voor racisme lijkt dit inzicht nu ook bij techbedrijven door te dringen. Vorige week maakten IBM, Microsoft en Amazon bekend dat zij stoppen met de verkoop van gezichtsherkenningssoftware omdat deze mensen met een donkere huidskleur benadeelt.

Minderheden zijn ondervertegenwoordigd in de datasets waarmee de systemen worden getraind. De modellen zijn altijd gebaseerd op de meetbare meerderheid waardoor alles wat daar niet in past het nakijken heeft

Ten tweede hebben we te maken met systemen die gebaseerd zijn op wiskundige logica in plaats van menselijke logica, waardoor de beslissingen van deze systemen nogal eens kunnen botsen met onze culturele normen en waarden.

Polariserende algoritmen en asociale categorisering vormen de basis van het verdienmodel.

Tot slot -niet onbelangrijk-, vormen polariserende algoritmen en asociale categorisering de basis van het verdienmodel van techbedrijven en social media platformen.

Uit onderzoek naar YouTube algoritmen blijkt bijvoorbeeld dat gebruikers naar extremere content worden geleid om hen meer tijd op het platform te laten spenderen. Via een paar geautomatiseerde vervolgsuggesties kun je al belanden bij extreem rechtse content, terwijl je begon met het bekijken van een onschuldige video over de Europese Unie.

En ook Facebook algoritmen zijn niet onschuldig. Zo worden mensen op basis van hun klikgedrag ingedeeld in stereotyperende categorieën en krijgen ze op basis daarvan nieuwsberichten, reclames en updates aangeboden. Iemand die bijvoorbeeld veel LGBT-vrienden op Facebook heeft, wordt door het algoritme automatisch ingedeeld bij de categorie ‘affiniteit met homoseksualiteit’ waarna de gebruiker content krijgt aangeboden die ‘past bij zijn categorie’. Zelfs 'ras' blijkt daarbij een variabele te zijn:

Fragment Vice News - The Hidden Ways Facebook Ads Target You

Uit onderzoek van professor Sandra Wachter blijkt dat gebruikers op deze manier producten en diensten kunnen mislopen, vanwege de interesses, gewoonten en routines die het algoitme voor jou heeft vastgesteld:

"Algorithms constantly collect data and evaluate us and sometimes make life changing decisions such as credit, housing and employment. Advertisements play a crucial part in this in that they inform us about goods and services, opportunities, products or nudge us into certain behaviours. Affinity profiling may use seemingly neutral reasons to withhold a job advertisement, for example, from Cosmopolitan readers or people with an affinity for black culture, while claiming not to have any designs against women or ethnicity per se."

Algoritmen kunnen dus met de meest neutrale intenties worden gemaakt, maar in de praktijk pakt het niet zo uit.

Keuringsdienst voor tech-verantwoordelijkheid

Dat ongelijkheid, polarisering en sociale uitsluiting structureel zijn ingebed in onze technologieën betekent niet dat we hier niets aan kunnen doen.

Met de dode mussen-index kunnen we een score geven aan bedrijven die wel, of juist geen tech-verantwoordelijkheid nemen.

In samenwerking met de Hogeschool voor de Kunsten ontwierpen we een overzichtelijke dode mussen-index waarmee we een score kunnen geven aan bedrijven en organisaties die wel, of juist geen tech-verantwoordelijkheid nemen.

De mussen-index: een scoresysteem voor tech-verantwoordelijkheid.

Na jarenlange excuses van ontwikkelaars en techbedrijven, is het tijd om de stap te maken van verantwoording afleggen over de gevolgen van technologie naar verantwoordelijkheid nemen voor de impact van technologie. Dat betekent dat we de fouten waar keer op keer sorry voor wordt gezegd, niet als incidenten moeten behandelen.

Wat we kunnen leren van de anti-racisme demonstaties is dat buitensporig politiegeweld geen indicidenteel probleem is dat we oplossen door één of twee agenten te bestraffen. In de VS zouden agenten bijvoorbeeld een minder agressieve werkwijze moeten aanleren.

Dat geldt ook voor de verspreiding van polariserende content. Een waarschuwingsbericht boven een boze tweet volstaat niet. We moeten het polariserende verdienmodel aanpakken; het populistische systeem van likes en algoritmen die ons doorlopend voeden met nieuwsberichten, producten, updates, reclames en diensten die zogenaamd zouden horen bij 'jouw soort mensen'. We moeten uit de digitale bubbel van de eigen groep stappen en meer verschillende mensen bij het ontwerp van technologie betrekken.

Met de mussen-index hebben we een krachtig -gelukkig geen dodelijk- wapen in handen waarmee we stappen in de goede richting kunnen aansporen. Maar hoe werkt deze index en wat gaan we er allemaal mee doen?

In onze excuses-maatschappij, waar techbedrijven en datalekkende organisaties te pas en te onpas sorry zeggen, raken mensen snel verdwaald. De mussen-index is een overzichtelijk scoresysteem dat met dode en levende mussen uitdrukt hoe goed of slecht een sorry is. Hoe slechter de excuses en (voor)genomen maatregelen, hoe meer de ontvanger blij wordt gemaakt met een dode mus.

Hebben voormalige winnaars van de Big Brother Award hun verantwoordelijkheid inmiddels al genomen?

Hoeveel dode mussen geef jij aan een organisatie die wel sorry zegt, maar geen probleemoplossende maatregelen treft? En hoeveel levende mussen krijgen Microsoft en IBM omdat ze stoppen met hun gezichtsherkenningssoftware?

In navolging op de Big Brother Awards die elk jaar door Bits of Freedom wordt georganiseerd, bezoekt SETUP dit najaar voormalig award-ontvangers.

Geïnspireerd op het televisieformat Keuringsdienst van waarden, komen we met onze eigen Keuringsdienst van sorry’s om te kijken op welke manier voormalige award winnaars hun verantwoordelijkheid hebben genomen.

In hoeverre hebben de Kamer van Koophandel, het Centraal Justitieel Incasso Bureau en andere winnaars van de Big Brother Award hun gedrag aangepast? En kunnen we deze partijen nog het voordeel van de twijfel geven?

Als we het recht om vergeten te worden serieus nemen en meer ruimte willen creëren voor nuance en verbetering, moeten ook deze partijen een oprechte tweede kans krijgen. Want alleen samen kunnen we tech-verantwoordelijkheid op een hoger plan tillen.