Tranen op de dansvloer: een smartlap door AI

Tranen op de dansvloer: een smartlap door AI
© Foto: Bas van Setten (basvansetten.nl)
18 dec 2020 – Leestijd 5 min

Tranen op de dansvloer: een smartlap door AI

Krista Hendriks
Marketing & communicatie

Nu voor het eerst in 30 jaar het Smartlappenfestival in Utrecht niet door is gegaan, kerst min of meer is gecanceld en de kroegen leeg staan, is er reden genoeg om een potje te huilen. SETUP presenteert daarom dé hit van het afgelaste Smartlappenfestival 2020.

Nu een potje huilen in de kroeg er niet in zit, wenden wij ons tot onze nieuwe beste vriend: de computer.

Gezongen door een doorleefde zanger en voorzien van een echte snik, is de smartlap het toonbeeld van menselijke emotie. Nu een potje huilen in de kroeg er niet in zit, wenden wij ons tot onze nieuwe beste vriend: de computer. Kunnen we een smartlap met een échte snik door een algoritme laten genereren? In samenwerking met AI-onderzoeker en muzikant Janne Spijkervet, algoritmen GPT-2 en Music Transformer, muziekproducent Manfred Jongenelis en de Utrechtse smartlappenband Pure Ellende is dat uiteindelijk gelukt. We presenteren je vandaag dan ook met veel trots de hit van het afgelaste Smartlappenfestival 2020, compleet mét videoclip in een lege kroeg!

De grote vraag is alleen: zit de snik erin?!

Nu we dit weergaloze eindresultaat onthullen moeten we even eerlijk zeggen dat dit lied niet voor 100% "door een computer" is gemaakt. In het trainen van het algoritme en de 100 bestaande smartlappen die daarvoor nodig waren, zit bij elkaar opgeteld tientallen jaren aan menselijke arbeid en creativiteit. Om daarvan een nieuw lied te maken, hebben we intensief met het algoritme samengewerkt. Het was dus meer een co-creatie. Dat betekende dat we over eindeloze stukken dramatische pianospel en teksten als 'met je bloeddoorlopen ogen' een serieuze afweging moesten maken. Hoe dat is gegaan, lees je in dit artikel.

Podcast

Benieuwd hoe dit nummer gemaakt is? Over het hele proces en de vraag ‘kan een algoritme een smartlap met een echte snik maken?’ hebben we een driedelige podcast gemaakt. Hierin gaan we dieper in op het onderzoek en de bevindingen van de makers.

Beluister ze hieronder!

Aflevering 1: Hoe leg je een algoritme uit wat een smartlap is?

Een kunstmatig intelligent systeem kan zover kijken als de input die het heeft. De dataset is in die zin dus leidend. Om ervoor te zorgen dat het systeem goede output geeft, moet je dus eerst weten wat goede input is. Daarom is het zaak een helder beeld te hebben van waar je naar op zoek bent. In ons geval moesten we achterhalen: wat is een smartlap überhaupt?

Samen met AI onderzoeker Janne Spijkervet, muziekproducer Manfred Jongenelis en muzikanten Klaas Roozenburg & Maarten Voortman (Pure Ellende) gaan we in gesprek.

Aflevering 2: Vreemde teksten en melodieën 

Patronen herkennen en voorspellen kan een AI als geen ander. Voor mensen betekenisvolle output genereren is een stuk moeilijker. De teksten en akkoorden die de algoritmen (GPT-2 en Music Transformer) genereerden waren vaak totaal willekeurig. Hoe bak je daar een goede tranentrekker van?

Aflevering 3: Zit de snik erin?

Het uiteindelijke lied is dus gecomponeerd door Janne Spijkervet, GPT-2, Music Transformer, en Klaas en Maarten (van Pure Ellende), opgenomen in de studio van Manfred door het voltallige smartlappencollectief Pure Ellende en gearrangeerd door Manfred Jongenelis. Over een powerteam gesproken! We luisteren het eindresultaat met Smartlappenfestival-bestuurder Marco Terlou en vragen hem: zit de snik erin?!

De mooiste momenten uit het maakproces

Het lijkt allemaal eenvoudig van tevoren: een smartlap genereren. Toch kwam daar veel meer bij kijken. In de laatste podcast hebben we het nog eens gehad over de rol van de algoritmen in het creatieve proces. Klaas Roozenburg (Pure Ellende) noemde het een mooie ideeën-generator. Een maatje in het schrijfproces voor als je vast zit en ook een mooie manier om tot onverwachte nieuwe invalshoeken te komen. Maar net zo vaak als het algoritme voor hilariteit en inspiratie zorgde, zorgde het ook voor verwarring. Gelukkig wisten Janne, Klaas en Maarten de winnende stukken uit de output van de algrotimen te pikken.

Janne, Klaas en Maarten in co-create met het algoritme Music Transformer voor de muziek
Janne, Klaas en Maarten in co-creatie met het algoritme GPT-2 voor de tekst

De structuur van het lied lag er nu. Tijd om met de voltallige band in de studio van Manfred Jongenelis in Etten-Leur aan de opname te gaan werken. Een paar hoogtepunten van het lied: gitaarsolo die je in hier ziet, de bridge inclusief de uithaal 'met die leegte om me heen', en het prachtige driestemmige koor zijn tijdens deze opnamedag nog geboren. Ook de accordeon die je in het nummer hoort en alle bombastische levenslied juice zijn tijdens het arrangeren door Manfred nog als kersen op de taart toegevoegd.

De opname in de studio van Manfred Jongenelis

Sorry

SETUP is dit jaar op zoek naar technologie die ons kan helpen bij sorry zeggen. 

SETUP heeft 2020 uitgeroepen tot het jaar van de sorry. Van grote tech-bazen die sorry moesten zeggen voor datalek-schandalen tot talloze apology video’s op YouTube en zelfs Sinterklaas: allemaal zeiden ze “sorry, we zijn niet voorzichtig genoeg geweest, excuses voor onze nalatigheid, het was niet onze bedoeling”. Al klinken de sorry’s mooi, wij voelen ‘m niet. Bovendien zitten er een hoop haken en ogen aan de PR-sorry’s van 2020. Dat kan en moet beter. Vanuit de belofte dat technologie ons overal bij kan helpen, zijn we daarom op zoek gegaan naar manieren waarop we met technologie kunnen samenwerken om onze sorry’s te verbeteren. Een kunstmatige smartlap vol wroeging en met een echte snik maken was de ultieme test.