Kunnen we arbeidsmarkt discriminatie oplossen met AI?

Kunnen we arbeidsmarkt discriminatie oplossen met AI?
26 feb – Leestijd 10 min

Kunnen we arbeidsmarkt discriminatie oplossen met AI?

Siri Beerends
Siri is cultuursocioloog en schrijver. Ze doet onderzoek naar authenticiteit en de manier waarop mensen en samenlevingen onder invloed van kunstmatige intelligentie meer op machines gaan lijken.

Niet eerder werd de noodklok over onze discriminerende arbeidsmarkt zo hard geluid. Het kabinet neemt maatregelen. De vergewisplicht moet ervoor gaan zorgen dat werkgevers kunnen beoordelen of hun selectie-systemen discrimineren. Gaat de algoritmische inclusiedroom dan eindelijk in vervulling? Aan de hand van vier interactieve installaties kijken we naar de gevolgen van AI voor de diversiteit op de arbeidsmarkt.

De algoritmische inclusiedroom

Arbeidsmarktdiscriminatie is een complex probleem. Discriminatie kent verschillende gedaanten die elk een andere oorzaak hebben. Bovendien gebeuren veel vormen van discriminatie en uitsluiting onbewust. Cognitieve biases verstoren het objectieve oordeelsvermogen van menselijke recruiters in de praktijk.

Daarom hebben werkgevers en recruitmentbureaus hun zinnen gezet op een technologische oplossing. Door het werven en selecteren uit te besteden aan een algoritme, hopen zij geschikte kandidaten onbevooroordeeld te kunnen selecteren. De belofte van algoritmische inclusie is dat sollicitanten niet op oneigenlijke gronden kunnen worden afgewezen. Een algoritme zou niet gevoelig zijn voor sociale categorieën zoals oud versus jong, man versus vrouw of allochtoon versus autochtoon.

Maar helaas, het algoritme blijkt geen objectief orakel. Als een algoritme getraind is met data waarin vooroordelen en ongelijkheden zijn verankerd, dan neemt het rekenmodel deze vooroordelen over. Of het nu gaat om de gezondheidszorg, het politiewezen of gezichtsherkenning, regelmatig verschijnen nieuwsberichten over algoritmische rekenmodellen waarin minderheden stelselmatig worden benadeeld.

Vier interactieve installaties maken de gevolgen van AI voor de diversiteit op de arbeidsmarkt tastbaar.

Ook in de HR sector. Zo bleek het recruitment algoritme bij Amazon alleen maar mannen te selecteren voor technische banen. Omdat bij Amazon meer mannen werkte, waren mannen volgens het algoritme statistisch gezien vaker succesvol. Gevolg: succesvolle kenmerken werden gelijk gesteld aan mannelijke kenmerken waardoor vrouwen vaker werden uitgesloten. Voor dit soort problemen wil de overheid nu met een vergewisplicht waken. De samenleving moet scherper zijn op de beloftes van algoritmisch werven en selecteren.

Maar hoe krijgen we dat voor elkaar? Hoe kunnen we het vraagstuk over algoritmische inclusie verscherpen en meer mensen hierover laten meedenken? De Nederlandse Stichting voor Psychotechniek (NSvP) en medialab SETUP nodigden vier ontwerp duo’s uit om zich over deze vraag te buigen. De resultaten zijn vier interactieve installaties die de gevolgen van AI voor de diversiteit op de arbeidsmarkt tastbaar en invoelbaar maken.

Data-diversiteit

De verwachtingen van recruitment algoritmen zijn ondanks de teleurstellende resultaten bij Amazon hoog gespannen. Nu de schadelijke effecten van algoritmische bias serieus worden genomen, zoeken we de oplossing in het verbeteren van onze algoritmen. Dat is nu eenmaal makkelijker dan het aanpassen van menselijk gedrag, is de heersende gedachtegang.

Met Ed en Algje leren we hoe ingewikkeld het is om een inclusief algoritme te worden.

We moeten ‘goede’ waarden in het algoritme stoppen door gevarieerde datasets te gebruiken en de ‘juiste’ variabelen op de ‘juiste’ manier te wegen. Maar wie mogen bepalen wat de juiste waarden en variabelen zijn? En kunnen we de sociaal-economische ongelijkheden die algoritmen blootleggen daadwerkelijk oplossen met een technologische fix?

Installatie: Ed & Algje

Deze vragen zijn tastbaar gemaakt door Tessel Brühl en Nicky Liebregts. Zij ontwierpen 'Ed de dataset' en 'Algje het algoritme'. Stuntelend zonder menselijke zintuigen trekt Algje de openbare ruimte in. Ed helpt Algje een handje, want een algoritme kan niets zien zonder dataset.

Door op locatie zoveel mogelijk verschillende mensen te bevragen over hun ervaringen met solliciteren, bias en inclusiviteit, probeert Ed van Algje een inclusiever algoritme te maken. Zo betrekken zij meer mensen bij het maatschappelijke debat over algoritmische inclusie en gaan ze de strijd aan met eentonige datasets die sociaal-economische ongelijkheden versterken.

Ed & Algje in gesprek: stel je kunt algoritmisch detecteren of iemand bluft, is dat iets goeds?

De vraag is of Ed en Algje deze strijd kunnen winnen. Ook in de digitale wereld zijn minderheden en minderheidsperspectieven ondervertegenwoordigd. Daardoor zijn inclusieve datasets vaak niet beschikbaar. Ed en Algjes noeste arbeid om een dataset meer divers te maken laat zien hoe ingewikkeld het is om een algoritme inclusief te maken. De makers stellen daarmee een belangrijke vraag aan de kaak: zijn ontwikkelaars bereid om tijd en geld te investeren in meer diverse datasets? En hoe kunnen werkgevers zich vergewissen van de diversiteit in de data waarop de algoritmen getraind zijn?

Hoewel minderheden baat kunnen hebben bij algoritmische inclusie, kan insluiting ook negatieve gevolgen hebben. Zo organiseerden studenten aan Harvard begin dit jaar een ‘Please Don’t Include Us’ workshop. De studenten zijn bang dat algoritmische inclusie zal uitmonden in systemen die minderheden en sociaal-economische onderklassen stelselmatig profileren en criminaliseren. In Nederland gebeurde dit dankzij Systeem Risico Indicatie dat rijkere wijken uitsluit van algoritmische screenings op wetsovertredingen. Begin deze maand oordeelde de rechtbank dat het systeem verboden moet worden vanwege de discriminerende en stigmatiserende effecten van de gebruikte algoritmen.

Anoniem solliciteren

De belofte van algoritmische recruitment is een snellere en inclusievere screening, omdat nu iedereen kan worden uitgenodigd voor een gesprek. Waar sollicitanten voorheen op basis van CV en brief op gesprek mochten verschijnen, zou nu iedereen een kans hebben om zichzelf te presenteren.

Het gebrek aan tijd en mankracht om elke sollicitant te spreken dwingt werkgevers tot pre-selectie aan de poort waarbij discriminatie helaas aan de orde van de dag is. Onderzoekers van de Universiteiten van Amsterdam en Utrecht schreven tussen 2016 en 2018 bijna 4200 sollicitatiebrieven, waarin ze varieerden met de etnische achtergrond van de afzender. Conclusie: wanneer je verder in de brief alles gelijk houdt, verkleint enkel een niet-Nederlandse naam en achtergrond de kansen op een gespreksuitnodiging met 30%.

Selection Automat stelt de vraag in hoeverre AI een sollicitatiegesprek kan overnemen en of we daar ook blij van worden.

De standaardreactie op dit type onderzoek is een roep om anoniem solliciteren. De hoop is dat kunstmatige intelligentie deze anonimiteit kan bieden door onbevooroordeeld kandidaten te selecteren en iedereen een kans te bieden op een eerste gesprek. De opmars van spraaktechnologie moet dit gaan faciliteren. Maar in hoeverre kan AI een menselijk sollicitatiegesprek overnemen en worden we daar ook blij van?

Installatie: Selection Automat

Geïnspireerd door de torenhoge beloftes van de recruitmentsoftware-industrie, ontwikkelde Joost Helberg, Jeroen de Vos en Vincent Hoenderop de Selection Automat. Deze AI-powered recruiterbot maakt tastbaar hoe een algoritme op basis van een geautomatiseerd telefoongesprek kandidaten selecteert. Zodra je de hoorn van de haak pakt krijg je een aantal vragen op je afgevuurd, waarbij de antwoorden bepalen of je geschikt bent bevonden voor de functie van corporate recruiter.

Selection Automat speelt met de illusie van objectiviteit. Antropoloog Jeroen de Vos sprak met HR-deskundigen om de structuur van een sollicitatiegesprek te ontcijferen. Zo volgt de Selection Automat de veelgebruikte STAR-methodiek, waarbij sollicitanten wordt gevraagd naar een Situatie uit het verleden, de Taak die hen te doen stond, de Actie die men heeft ondernomen en het Resultaat van die actie. Daaruit zou je kunnen destilleren of iemand bijvoorbeeld daadkrachtig, creatief of stressbestendig is.

Na het beantwoorden van de vragen hangt de sollicitant op en volgt de uitslag in de vorm van een rode of groene sticker. De mensen met een groene sticker mogen zich melden voor de tweede ronde.

Selection Automat

Of je nu geschikt bent bevonden door de Selection Automat of niet, je stapt in de wereld van de algoritmische recruitment. Geen geploeter met sollicitatiebrieven; je ziet een vacature, klikt erop, beantwoordt een paar vragen en weet meteen je of je in aanmerking komt voor de functie.

Maar wat bepaalt de scheidslijn tussen geschikt en ongeschikt? Ja, softwarebedrijven maken gebruik van ‘state-of-the-art algoritmen’ en ‘gerenommeerde recruitment standaarden’, daarmee geven zij hun technologieën een aura van objectiviteit. Maar technologie is nooit waardevrij: het feit dat een algoritme consistent is en elke sollicitant op dezelfde manier beoordeelt, betekent niet dat dit ook op een neutrale manier gebeurt.

Wat betreft transparantie laat de Selection Automat haar sollicitanten bewust in de mist. Bedrijven hoeven vanwege hun intellectueel eigendomsrecht namelijk geen openheid te geven over de werking van hun algoritmen. En zolang we niet weten hoe de berekeningen werken, weten we ook niet of er sprake is van onwenselijke bias.

Wanneer algoritmen zelflerend zijn, is het vaak onmogelijk om de rekenstappen te achterhalen.

Op dit moment wordt daarom fors ingezet op wetgeving over algoritmische transparantie. Maar volgens AI-experts is transparantie bijzonder ingewikkeld. Wanneer algoritmen zelflerend zijn, is het vaak onmogelijk om te achterhalen welke rekenstappen het algoritme doorloopt om tot een eindbeslissing te komen. Hedendaagse algoritmen bevatten soms wel miljoenen parameters die subtiele, non-lineaire interacties beschrijven. Ook blijkt uit onderzoek dat transparante modellen ervoor kunnen zorgen dat het soms juist moeilijker wordt om fouten in het model te kunnen herkennen en corrigeren.

Algoritme blackbox versus menselijke blackbox

Volgens AI-expert David Watson (Oxford Internet Institute) zijn algoritmische beslissingen niet makkelijker te controleren dan menselijke beslissingen. Een menselijke beslissing kan net als algoritmische beslissing een black box zijn, met het belangrijke verschil dat we mensen moreel verantwoordelijk kunnen houden voor hun beslissingen. Zodra zichtbaar wordt dat in een bedrijf bepaalde groepen over- of ondervertegenwoordigd zijn, kunnen we het bedrijf daarvoor moreel verantwoordelijk houden.

Bij een algoritme werkt dat anders. Wanneer mensen gespecialiseerd zijn in een bepaald vakgebied en accurate beslissingen nemen, dan beschouwen we deze mensen als betrouwbare en moreel aansprakelijke individuen. Daardoor denken we automatisch dat wanneer een algoritme een wenselijke beslissing neemt, deze morele aansprakelijkheid ook voor het algoritme geldt. Maar het tegendeel is waar. Een algoritme kunnen we niet straffen, belonen of ter verantwoording roepen. Watson waarschuwt dat wanneer we algoritmen beslissingsbevoegdheid geven in sociaal-complexe contexten, mensen hun morele aansprakelijkheid kunnen gaan verstoppen achter het advies van het algoritme.

Dat transparantie ingewikkeld is blijkt ook uit een nieuwe Amerikaanse wet in Illinios die sollicitanten meer inzicht moet geven het algoritmische selectieproces. Het resultaat is dat bedrijven zichtbaar maken op welke ‘globale kenmerken’ sollicitanten algoritmisch gescreend worden. Maar de sollicitant begrijpt nog altijd niets van de gebruikte rekensystemen en moet er maar vanuit gaan dat het systeem niet onderhevig is aan bias.

Uitsluiting door kwantificering

Algoritmische inclusie gaat niet alleen over het in- of uitsluiten van minderheidsgroepen. Het gaat ook over aspecten van menselijk gedrag die worden uitgesloten door de toenemende nadruk op kwantificering en dataficering. Hoe inclusief je dataset ook is, het is en blijft data: een informatievorm die niet al onze kwaliteiten kan uitdrukken.

Regelmatig verschijnen artikelen over ‘job skills of the future’ waar vaardigheden opstaan zoals sociaal-emotionele intelligentie, empathie, verbeeldingskracht, moreel bewustzijn, samenwerken en creativiteit. Het gaat om kwaliteiten die in een hoog technologische samenleving waardevol zijn omdat computers hier slecht in zijn. Het zijn tevens kwaliteiten die je moeilijk kunt meten met een algoritme omdat dit type competenties niet makkelijk te kwantificeren zijn.

Neem bijvoorbeeld emoties. AI systemen zouden op basis van gezicht- en stem analyse menselijke emoties kunnen herkennen. De systemen worden gebruikt bij videosollicitaties. Zo beoordelen de recruitment algoritmen van Hirevue videosollicitaties op woordkeuze, stemklank en micro-expressies, die onze ‘ware’ emoties en persoonlijkheid zouden verraden.

Cranky laat jou een inclusief sollicitatieproces ervaren in een wereld waar het meeste werk is overgenomen door AI.

Maar vorig jaar verscheen een diepgravende wetenschappelijke studie waaruit blijkt dat gezichtsuitdrukkingen niet correleren met persoonlijkheidskenmerken en emoties. Kort samengevat: iemand die blij kijkt hoeft geen blij persoon te zijn. Daaruit volgde forse waarschuwingen over emotieherkenning systemen. Dat is niet verrassend. Deze systemen destilleren immers een persoonlijkheidsprofiel uit woorden, stemklanken en gezichtsuitdrukkingen, terwijl taal en emotie te ambigu en cultuurafhankelijk zijn om te kwantificeren, categoriseren en beoordelen met vastomlijnde modellen. Hoe gaan we om met deze waarschuwingen en dringen ze ook door tot de recruitment wereld?

Installatie: Cranky

Bas van Oerle, Thomas voor ‘t Hekke en schrijver Ewoud Kieft spelen met het idee van de kwantificeerbare mens in hun installatie over de inclusieve arbeidsmarkt van de toekomst. Cranky laat zien hoe een inclusief sollicitatieproces eruit kan zien in een wereld waar het meeste werk is overgenomen door hoogwaardige robottechnologie. In het verhaal achter de installatie heeft de regering besloten dat mensen weer onderdeel moeten uitmaken van het arbeidsproces. Na jarenlange exclusie, leek het de regering beter om de mens weer aan het werk te zetten. Maar wat is dan nog een belangrijke functie die de mens kan vervullen?

Het bedrijf Corpo heeft twee mensen in dienst genomen en is op zoek naar meer personeel. Cranky is de recruit-a-tron die de mensen moet gaan aannemen. Vanuit het perspectief van de robot geeft Cranky de menselijke sollicitant een paar simpele opdrachten, zoals het vinden van een foute rekenkundige formule tussen een veelheid aan formules. Dit is een onmogelijke opdracht voor de mens, die liever op mens-eigen competenties beoordeeld zou worden. Cranky kan zich op zijn beurt niet voorstellen wat een mens zou kunnen toevoegen in een arbeidsproces waarin alle menselijke intelligentie is vervangen door kunstmatige intelligentie. Uiteindelijk ontdekt Cranky iets wat de mens uniek maakt: de kinetische energie waarmee hij de robots kan aanzwengelen.

Cranky

Cranky is illustratief voor de manier waarop we op dit moment naar AI en de toekomst van werk kijken. Hoewel een arbeidsmarkt volledig beheerst door machines tot de verbeelding spreekt, ligt de werkelijkheid genuanceerder.

We vergeten vaak hoeveel mensenwerk en energieverbruik schuilgaat achter AI.

Steeds meer deskundigen waarschuwen dat we de taken die AI systemen kunnen overnemen overschatten. We hebben te weinig oog voor de moeilijk-kwantificeerbare, ecologische, economische en sociale factoren bij het automatiseren van werk.

Zo pleit hoogleraar Alfred Kleinknecht (TU Delft) voor meer realiteitszin wanneer we naar de automatisering van werk kijken. In een interview met Trouw legt hij uit: "Kunstmatige intelligentie zou een productiviteitsrevolutie ontketenen. Volgens een veelbesproken studie van Frey en Osborne zit 47% van alle werknemers in de VS in de gevarenzone: intelligente technologie zou hun werk overnemen. Maar zulke verhalen staan in schril contrast met de statistieken.”

Naast de wet van de afnemende meeropbrengsten, heeft dat te maken met de hoge kosten voor de ontwikkeling van alle soft- en hardware, de dataverwerking, het energieverbruik en de verwachte CO2 belasting. Ook vergeten we vaak hoeveel mensenwerk er nodig is om AI systemen werkend te krijgen.

David Graeber praat in de VPRO Tegenlicht aflevering 'Mijn bullshitbaan' over de menselijke arbeid achter computersystemen in de zorg.

Iemand moet de uitkomsten interpreteren, iemand moet de processen begeleiden en bovenal: iemand moet al die data in de AI systemen stoppen. Maar wie zijn de mensen die dat doen?

De onzichtbare arbeid achter AI

Op platforms zoals Amazon Mechanical Turk worden kleine taken tegen een microloon aangeboden die iedereen ter wereld met een computer kan oppakken.

Guestworker maakt zichtbaar hoe het geautomatiseerde proces een opdracht verkoopt aan een menselijke werker.

Op het eerste gezicht lijkt dit de ultieme inclusieve arbeidsmarkt. Maar deze platforms, die niets anders doen dan taken aan ‘Turkers’ matchen, roepen ethische vragen op over de aard, omstandigheden en gevolgen van deze nieuwe werkvorm.

Installatie: Guestworker

Automatisering creëert nieuwe werkvormen voor de mens. Met de opkomst van diensten als Amazon Mechanical Turk worden specifieke onderdelen van automatische processen uitbesteed aan menselijke werkers. Deze Human Intelligence Tasks zijn singuliere opdrachten die een machine niet kan uitvoeren, bijvoorbeeld het overtypen van ingescande kassabon of het invullen van een Captcha code.

Guestworker maakt deze menselijke arbeid zichtbaar en zorgt ervoor dat we de feedbackloop tussen mens en machine kunnen herkennen. We zien real-time hoe het geautomatiseerde proces een opdracht verkoopt aan een menselijke werker die we slechts kunnen herkennen aan een IP adres en het land van herkomst van de werker.

Guestworker

De meeste online taken worden aangeboden vanuit de Verenigde Staten en Europa en uitgevoerd door werkers uit lageloonlanden zoals India en Bangladesh. Vorig jaar verscheen hierover het boek ‘Ghost Work’ waarin de slechte en eentonige arbeidsomstandigheden van AI werkers aan de kaak worden gesteld. Tegelijk ontstaan er initiatieven die een positiever beeld van dit type werk laten zien waarbij mensen juist uit de armoede komen.

Algoritme verandert pas als wij veranderen

Als we daadwerkelijk een inclusieve arbeidsmarkt willen, moeten we ons niet blindstaren op technologische oplossingen. Het uitgangspunt dat het aanpassen van een algoritme makkelijker is dan het aanpassen van een mens klopt niet. Je kunt mens en algoritme niet los van elkaar zien. Algoritmen kunnen pas ten goede veranderen als we zelf inclusiever worden en onze denkbeelden over diversiteit verruimen.

Diversiteit gaat ook over het recht om te mogen ontsnappen aan de eigen culturele, sociale of biologische identiteit. Algoritmen doen juist het tegenovergestelde: ze pinnen sollicitanten vast op kwantificeerbare eigenschappen zoals de lengte van hun lach. De vraag is in hoeverre je daarmee diversiteit bewerkstelligt. Een team met mannen en vrouwen kan nog steeds homogeen zijn als ze qua zienswijzen op elkaar lijken en een team met verschillende culturele achtergronden kan nog steeds eenzijdig zijn als alle personen uit dezelfde sociaal-economische of subculturele groep komen.

Een inclusieve arbeidsmarkt kan alleen ontstaan als verschillende groepen hun macht kunnen claimen in het ontwerp van technologie.

We moeten diversiteit dus ruimer en minder categorisch benaderen: niet alleen vanuit persoonlijkheid, cultuur en gender maar ook vanuit disciplines, werkstijlen, waarden, communicatiestijlen en ideologieën. Maar wie moeten hiervoor gaan zorgen? Datahongerige techbedrijven? Witte programmeurs uit Silicon Valley?

De vergewisplicht is een goed begin om werkgevers verantwoordelijkheid te laten nemen voor de door hun gebruikte selectiesystemen. Maar hoe dit gaat uitpakken is nog een grote vraag. Uiteindelijk kan een inclusieve arbeidsmarkt alleen ontstaan als verschillende groepen hun macht kunnen claimen in het ontwerp van technologie. Om dat voor elkaar te krijgen moeten we het complexe vraagstuk over algoritmische inclusie invoelbaar maken voor een breed publiek.

Ed, Algje, Selection Automat, Cranky en Guestworker kunnen dat als geen ander. Deze interactieve werken zorgen ervoor dat niet alleen tech-experts en Elon-Musketeers, maar ook andere groepen kunnen meedenken en meebouwen aan een inclusieve technologische toekomst.