Meten is vergeten

Meten is vergeten

Magazine
© Bart Leguijt

Gisteren maakte Amazon bekend dat zij afzien van hun discriminerende sollicitatie algoritme. Terwijl de discussie over algoritmische bias losbarst, blijft het belangrijkste probleem onderbelicht. Top story


Siri Beerends donderdag 11 oktober 2018
Inhoud: 

Op 5 oktober verscheen een eerdere versie van dit artikel in Het Financieele Dagblad.

Bedrijven hebben tegenwoordig wel wat beters te doen dan afgezaagde motivatiebrieven lezen. Het selecteren van een geschikte kandidaat wordt steeds vaker uitbesteed aan een algoritme. De recruitment software-industrie is een groeimarkt.

Een van de koplopers in deze industrie is het miljoenenbedrijf Hirevue, met klanten als Unilever en Goldman Sachs. De algoritmen van Hirevue beoordelen videosollicitaties op woordkeuze, stemklank en micro-expressies die onze ‘ware’ emoties en persoonlijkheid zouden verraden. Als we hun marketingsprookje moeten geloven, selecteren algoritmen de juiste kandidaat op een neutrale en eerlijke manier. Een algoritmische screening zou sollicitanten bevrijden van discriminerende werkgevers die op basis van onderbuikgevoelens personeel aannemen.

Bedrijven die de boodschap verkopen dat technologie neutraal is maken een beoordelingsfout. Dat een algoritme elke individu op dezelfde manier beoordeelt, betekent niet dat dit ook op een neutrale manier gebeurt. Zo maakte Amazon gisteren nog bekend dat zij afzien van het algoritme waarmee zij automatisch sollicitanten wilde beoordelen.
Het systeem bleek vrouwen stelselmatig te discrimineren.

Cathy 'O Neil is inmiddels allang niet meer de enige die een boek kan vullen met voorbeelden van algoritmen die consistent discrimineren. Politiek wetenschapper Virginia Eubanks beschrijft in haar boek Automating Inequality hoe lagere sociaal-economische klassen stelselmatig door algoritmen worden benadeeld, omdat er over hen meer data beschikbaar zijn waarmee overheden en bedrijven een regime van surveillance, profilering en uitsluiting hanteren.

Zelfs als we algoritmische bias kunnen voorkomen, lossen we het daadwerkelijk probleem niet op.

Tech-ondernemer Jim Stolze schreef vorige maand in het Financieele Dagblad dat de bias die we algoritmen zo kwalijk nemen, voortkomt uit onze eigen vooroordelen. Hij vergelijkt de kritiek op algoritmen met een ongemakkelijk spiegelbeeld: “Het is als boos worden op een spiegel omdat je haar niet goed zit.” Een slechte vergelijking want algoritmen reflecteren niet alleen onze vooroordelen en ongelijkheden, ze leggen deze vast in systemen waardoor ze ook nog eens op grotere schaal worden verspreid.

De oplossing lijkt simpel: we moeten ‘goede’ waarden in het algoritme programmeren door gevarieerde datasets te gebruiken en de juiste variabelen op de juiste manier te wegen. Maar zelfs als dat lukt, lossen we daarmee het daadwerkelijke probleem niet op.
Het probleem is namelijk dat veel aspecten van menselijk gedrag überhaupt niet in een algoritmisch model passen.

Algoritmen zijn goed in rigide taken zoals schaken en Go. Maar mensen zijn minder rechtlijnig dan een schaakbord of een spelletje Go. Een recruitmentalgoritme destilleert een persoonlijkheidsprofiel uit woorden, stemklanken en gezichtsuitdrukkingen, terwijl taal en emotie te gelaagd en cultuurafhankelijk zijn om te kwantificeren, categoriseren en beoordelen met één vastomlijnd model.

Wanneer je een bedrijf als Hirevue vraagt naar de werking van hun algoritmische model, beroepen zij zich op geheimhouding vanwege hun intellectueel-eigendomsrecht. Wie toch graag wil weten hoe deze technologie werkt hoeft niet in het duister te tasten. Ontwerper Isabel Mager ontwikkelde samen met Medialab SETUP een opensource variant van de algoritmische Hirevue sollicitatie. Daarmee maakt zij de blackbox achter deze technologie transparanter, zodat sollicitanten meer autonomie krijgen.

© Bart Leguijt
Input = Output van Isabel Mager

Afgelopen maand stond SETUP op verschillende festivals waar het publiek het recruitmentalgoritme in de installatie "Input = Output" op kritische wijze uitprobeerde: herkende deze technologie een neplach? Discrimineerde het algoritme op andere punten dan huidskleur? Hoe reageerde de gezichtsanalyse op een hazenlip, Gilles de la Tourette of hangende oogleden? Aan het einde van elke sollicitatie rolde een bonnetje uit de computer met een rijtje getallen en de mededeling of deze persoon wel of niet goed bij een bepaald bedrijf zou passen.

Dat rijtje getallen moet het selectieproces voor werkgevers efficiënter maken, maar uiteindelijk zeggen deze cijfers net zoveel over iemands persoonlijkheid als een horoscoop. En dan moeten de getallen ook nog eens geïnterpreteerd worden door hr-afdelingen die de rekenmodellen achter deze algoritmen amper begrijpen.

Werkgevers verliezen menselijke kwaliteiten uit het oog wanneer zij gedrag reduceren tot algoritmische formules.

Meten staat in de praktijk niet altijd gelijk aan weten. Algoritmen hebben geen bewustzijn, creativiteit en redenerend vermogen. Ze zijn niet in staat ­intuïtief sociale en emotionele contexten te begrijpen, terwijl deze kwaliteiten juist belangrijk zijn om kandidaten te selecteren. Werkgevers moeten zich dus goed achter de oren krabben voordat zij hun selectieproces baseren op een recruitmentalgoritme. Door menselijk gedrag te reduceren tot algoritmische formules en alleen het meetbare prioriteit te geven, verliezen zij diversiteit en menselijke kwaliteiten uit het oog.