We maakten een Henk Westbroek deep (cheap?) fake

We maakten een Henk Westbroek deep (cheap?) fake
© Yifan Yaing & Sander de Jong
25 nov – Leestijd 8 min

We maakten een Henk Westbroek deep (cheap?) fake

Rianne Riemens
Rianne onderzoekt en schrijft over nieuwe technologie.
Frank-Jan van Lunteren
Frank-Jan is redacteur en koekjesverslinder bij SETUP.

“Waar is hier de nooduitgang?” Met deze deepfake-video probeerden we een stukje geschiedenis te herschrijven.

1987. Het is nacht. Beveiligingscamera’s laten zien hoe een man door de lege Utrechtse Janskerk dwaalt. Henk Westbroek, bekend als zanger van Het Goede Doel, ijsbeert op en neer door het gangpad. “Ik kan hier niet langer blijven!” Hij rammelt tevergeefs aan dichte deuren, maar het gebouw is uitgestorven en afgesloten. “Waar is hier de nooduitgang?”

Nee, Henk Westbroek heeft niet écht per ongeluk opgesloten gezeten in deze kerk. En het was evenmin de inspiratie voor het schrijven van zijn hit Waar is hier de nooduitgang?. Maar – Mark-Twain-quote – "don't let the truth get in the way of a good story". En dat verhaal probeerden we met deepfake-technologie aannemelijk te maken:

Nacht in de Janskerk. Makers: Yifan Yaing en Sander de Jong.

Elk verhaal heeft een aanleiding. Onze aanleiding was aanvankelijk heel simpel: we wilden experimenteren met deepfakes. Deepfakes zijn audio- en videobeelden die door middel van machine learning worden gemaakt. Je kunt een algoritme trainen met bestaande beelden – bijvoorbeeld alle mediaoptredens van Mark Rutte – en daar vervolgens nieuwe van maken – bijvoorbeeld om Mark nieuwe uitspraken laten doen. Hoe dat specifieke voorbeeld eruitziet, liet de VPRO afgelopen jaar al zien in een uitzending van Tegenlicht.

Tegelijkertijd werkten we aan Re:connect, een kunstproject om samen met de Rijksdienst voor Cultureel Erfgoed de geschiedenis en toekomst van kerkgebouwen te verbeelden. De Utrechtse Janskerk heeft 980 jaar aan geschiedenis. Genoeg om uit te kiezen dus, maar weinig verhalen waar we direct warm voor liepen. Liever zouden we zelf een alternatief verhaal maken. Enter deepfake.

TheFakening: een verontrustende Elon-Musk-deepfake

Deep fakes & cheap fakes

Het grote aantal indrukwekkende deepfakes dat afgelopen jaar online verscheen, doet vermoeden dat ze inmiddels heel eenvoudig te maken zijn. Dat komt deels door de opkomst van populaire face-filter-apps. Neem bijvoorbeeld Zao, de Chinese app die acteurs uit beroemde filmscènes voorziet van jouw gezicht. In dit geval gaat het wel om een beperkt aantal scènes waar het algoritme op getraind is, en kun je nog geen eigen filmbeelden gebruiken. Overigens wordt Zao, net als de beruchte Russische FaceApp, ook verdacht van het massaal verzamelen van gezichtsinformatie – maar dat is een ander verhaal.

Dat het maken van een eigen, authentieke deepfake nog niet zo makkelijk is, lieten de CGI-helden van Corridor Crew dit jaar zien. Ze maakten een deepfake-video van Keanu Reeves, die eigenhandig (en eigenzinnig) een roofoverval stopt. Al voordat het algoritme aan de slag gaat, moet elk detail van de video worden uitgedacht. Van camerahoek en belichting tot poses en bewegingen van de acteur.

Corridor Crew

Brillen zijn verwarrend

Terug naar de Nederlandse Keanu Reeves: Henk Westbroek. Er waren drie dingen nodig om een video te maken:

  1. Een acteur met het juiste postuur (check);
  2. Een stemacteur voor geloofwaardig stemgeluid (check);
  3. Veel beeldmateriaal van Henk om het algoritme mee te trainen (hmm...).

Dit beeldmateriaal haalden we uit het archief van het Instituut voor Beeld en Geluid. Met het materiaal wordt een digitaal model van zijn gezicht gemaakt. Dat digitale gezicht kan dan als een 'masker' op de videobeelden van de acteur worden geplakt.

Daar ging het direct mis. Henk Westbroek draagt een bril. Ons algoritme kon daar slecht mee uit de voeten. Met een bril is het moeilijker om een gezicht te herkennen (onder andere door spiegelingen), en een bril staat ruimtelijk iets van het gezicht af, terwijl het masker van een digitaal gezicht 'plat' is. Er was wel een korte periode in de geschiedenis van Henk zonder bril, maar daar was dan ook minder beeldmateriaal van. Onze redding was een oude aflevering van dierenquiz Waku Waku. Geen bril.

Er ontstond wel een nieuwe vraag. Zitten er rechten op materiaal dat je wilt gebruiken om een algoritme te trainen? Je neemt geen materiaal letterlijk over, maar het is wel een ingrediënt om nieuw materiaal mee te maken. Geldt in dat geval auteursrecht, of portretrecht? Dit bleek een grijs gebied. Voor de zekerheid namen we contact op met Henk om toestemming te vragen.

Materiaal om mee te trainen

Gruizig

Uiteindelijk gebruiken we in onze video maar 1 shot dat niet authentiek is. Hier is een deepfake aan het werk. Voor dat ene shot waren wel 48 trainingsuren nodig, waarmee het algoritme leert hoe een Henk Westbroek eruitziet. Het inzetten van die kennis wordt daarna wel makkelijker, maar blijft arbeidsintensief. Maar om geloofwaardig te blijven, zijn er ook niet per se heel veel shots nodig. Hoe meer deepfake-beeld, hoe groter de kans dat er minder geslaagde shots tussen zitten die de illusie doorbreken. Je kunt er ook voor kiezen om meer aan de verbeelding over te laten. Gruizig beeld van een beveiligingscamera vertelt soms een overtuigender verhaal dan een te perfecte studio-setting die haast wel geënsceneerd moet zijn.

© Yifan Yaing
Een stukje storyboard

De angst voor (te) overtuigende ‘fakes’ leeft overigens flink. Het Amerikaanse ministerie van defensie heeft deepfake-technologie als aangemerkt als een bedreiging voor de nationale veiligheid. Vooral rondom politieke beïnvloeding zijn er grote zorgen (“Fake America great again”). Overigens bleek uit onderzoek van het Amsterdamse Deeptrace Labs dat er nog geen deepfakes voor desinformatie-campagnes zijn gebruikt. Maar het idee dat dit wel mogelijk is, heeft al grote gevolgen: "the mere idea of AI-synthesized media is already making people stop believing that real things are real." Het feit dat deepfake inmiddels kan, zorgt dat mensen gaan twijfelen aan de echtheid.

“Deepfakes do pose a risk to politics in terms of fake media appearing to be real, but right now the more tangible threat is how the idea of deepfakes can be invoked to make the real appear fake.”

AI trainen met beeldmateriaal van gezichten

Nooit onomstreden geweest

En al is er sprake van vervalsing, dan maakt de technologische geavanceerdheid voor het effect niet altijd uit. Visuele vervalsingen bestaan al heel lang. Het fenomeen deepfake is daarom ook niet nieuw, maar door de jaren heen ontwikkeld. Onderzoeksplatform Data & Society benadrukt dat de vraag of content als waarheid of authentiek wordt gezien nooit onomstreden is geweest. Dit is vooral ook sociaal, politiek en cultureel bepaald. Zowel geavanceerde deepfakes als amateuristische cheap fakes hebben invloed op wat we als waarheid accepteren. Het is nu alleen makkelijker geworden om ze op grote schaal te verspreiden in ‘online echo chambers’.

Er is overigens ook een 'nooduitgang': nieuwe diensten specialiseren zich in het herkennen van deepfakes. En een dosis mediawijsheid en nuchterheid kan ook nooit kwaad.

Tot slot

Ons resultaat is niet verbluffend, maar we leerden wel veel over de do's en dont's bij het maken van een deepfake. Sowieso dat er voldoende mogelijkheden liggen voor fantasierijke makers. En mochten er wel gepassioneerde muziekkenners wakker liggen van onze video, dan verschuilen we ons achter deze lyrics:

"Ik moest naar de gevangenis maar ik had niets gedaan
Ik wist wel wie de dader was maar ik geef geen vrienden aan
Ik ga graag op bezoek, maar ik blijf nooit al te lang
Waar is hier de nooduitgang"

Met dank aan de makers (Yifan Yaing en Sander de Jong) en de Rijksdienst voor Cultureel Erfgoed.