De avantgarde componist van de toekomst is een robot

Muziek!

Er wordt nog steeds nieuwe muziek gemaakt. Met computers en zelflerende software kunnen de klanken van stemmen en instrumenten worden uitgesplitst en opnieuw gerangschikt.

Arjen Born

De ene track is een piano-niemendalletje van 90 seconden, de andere de zoveelste slappe nabootsing van een Beatle-nummer. Wat beide stukjes muziek toch spannend maakt, is de wetenschap dat ze grotendeels zijn gecomponeerd door een computer. Het pianomuziekje komt voort uit Google Magenta, een project waarbij zelflerende software muziek en beeldende kunst moet scheppen. Het popnummer Daddy’s Car is de vrucht van een vergelijkbaar project van platenmaatschappij Sony.

Beide muziekjes zijn vorig jaar kort na elkaar gepresenteerd als voorbodes van de muziek van de 21ste eeuw, geschapen met kunstmatige intelligentie.

Het scheppen van nieuwe klanken is een mer à boire zegt Rens Machielse, directeur van de opleiding Muziek en Technologie bij de Hoge School voor de Kunsten Utrecht (HKU): „Het loopt van ‘sound design’, om bijvoorbeeld het geluid van een metalen deur na te maken, tot live coding battles, waarbij twee mensen improviserend muziek programmeren op hun laptop. Van avantgarde-composities in het spoor van Stockhausen [die pianoklank manipuleerde] tot elektronische, commerciële, dance music.”

Machielse ziet drie grote trends. „Musici maken steeds meer sounds voor allerlei interactieve toepassingen zoals games maar ook het simpele ‘tikken’ van het voetgangerslicht bij een zebrapad (1) en voor toepassingen in de publieke ruimte, zoals audiokunst. Daarnaast ‘componeren’ ze van muziek en beeld tegelijkertijd (3).” Die drie paden worden doorkruist door twee andere. Dat van de avantgarde-componist die radicaal op zoek gaat naar volledig nieuwe klanken, zoals Stefan Prins (zie inzet). En dat van de musicus die de vernieuwing zoekt in de kantlijnen van de populaire muziek, zoals popmuzikant Melvin Wevers (zie inzet).

Wie zelf grasduint in de overvloedige populaire en wetenschappelijke literatuur, kan een soort gids samenstellen. Die heeft bijvoorbeeld de volgende hoofdstukjes:

Nieuwe muziek is eigenlijk al oud

De muziekgeschiedenis is een aaneenschakeling van vernieuwing. In 1966 begonnen bijvoorbeeld de Beatles met het opnemen van Sgt. Pepper’s Lonely Hearts Club Band, het album dat de popmuziek voorgoed zou veranderen – onder meer doordat de musici circus- en dierengeluiden lieten versmelten met traditionele klanken.

In datzelfde jaar verscheen de nog altijd veel geciteerde studie Traité des Objets Musicaux van de Franse componist Pierre Schaeffer (1910-1995). Hierin pleitte de pionier ervoor om muziekstukken te beluisteren als complete ‘geluidsobjecten’ met eigenschappen als timbre en tempo. En niet, zoals we traditioneel geneigd zijn te doen, te zoeken naar de herkomst van de elementen als in: hier hoor je een viool en daar een stem.

Zelf bouwde Schaeffer geluidscollages en composities door alledaagse geluiden op te nemen en te bewerken. Door deze werkwijze geldt hij nog altijd als de ‘peetvader van het samplen’ en dus als een voorvader van hedendaagse DJ’s en producers. Zijn idee van ‘sound objects’ gaf bovendien een theoretisch kader aan het knippen, bewerken en plakken van klanken en geluiden waarmee musici nieuwe sounds creëren.

Bij dat componeren waren in de jaren zestig en zeventig van de vorige eeuw analoge synthesizers het belangrijkste werktuig. In de jaren tachtig werden computers zo krachtig dat klanken digitaal bewerkt konden worden. Een voorbeeld is de nog altijd veelgebruikte granulaire synthese, waarbij een toon in milliseconden wordt opgeknipt en de afzonderlijke deeltjes in een andere volgorde aan elkaar worden geplakt – waardoor een nieuw geluid ontstaat.

De computer heeft ook gezorgd voor perfectionering. Een inmiddels overbekend voorbeeld uit de popmuziek is de ‘auto-tune’, die de zang perfectioneert. Zodra de zanger een valse noot produceert, corrigeert de computer dit door de noot te corrigeren naar de dichtstbijzijnde halve toon. Zo klonk de Amerikaanse zangeres Cher in haar hit Believe (1998) zeldzaam perfect en krachtig.

Onnatuurlijk en voorspelbaar, vonden nogal wat critici. Maar zo voorspelbaar is auto-tune niet, zeker niet bij live optredens. Doordat de zanger nooit op dezelfde manier zingt, is het een verrassing welke afslag de computer neemt.

Deze balans tussen verrassing en volmaaktheid is ook een belangrijk doel bij de jongste en krachtigste trend bij nieuwe sounds: kunstmatige intelligentie.

Nieuwe klanken van de kunstmatige intelligentie

Zelflerende software is in staat om de patronen in bijvoorbeeld het rijgedrag van een automobilist niet alleen te herkennen, maar zich die ook eigen te maken en ze vervolgens zelf toe te passen. Op dezelfde manier kan deze software van aangeboden muziek – stem, instrument of straatgeluiden – de afzonderlijke tonen en de samenhang ertussen aanleren.

Computers hebben zich inmiddels het oeuvre van Bach zo eigen gemaakt, dat zij Bach-muziek produceren die kenners niet van het origineel kunnen onderscheiden. Die muziek is zo gelijkend, dat je die niet echt nieuw kunt noemen. ‘Overfitting’ heet dat verschijnsel, waaraan ook de Beatles-kloon Daddy’s Car lijdt.

De droom van kunstmatige intelligentie in de muziek is om de computer een componist te laten zijn, die echt nieuwe muziek maakt. Inmiddels zijn er voor componisten verschillende software-programma’s die hen helpen om uit bestaande klanken in een database nieuwe klanken en klankcombinaties te maken. Die programma’s zijn gebaseerd op zogeheten ‘neurale netwerken’, die kunnen leren op een manier die enigszins doet denken aan het leervermogen van het menselijk brein. In de database van die programma’s zijn de noten van instrumenten opgeknipt in allerlei aspecten (timbre, tempo), een soort elementaire deeltjes zoals Wevers dat noemt.

Een componist kan een algoritme schrijven (een setje regels), waarmee zij bijvoorbeeld opdracht geeft om de deeltjes van de viool te combineren, of om die viooldeeltjes te combieren met die van een menselijke stem. En zelfs om een combinatie te maken van een viooltoon als die van Jascha Heifetz en een zangstem à la Tupac. Deze synthetische ‘stemviool’ kan vervolgens verder digitaal worden bewerkt.

In het snel groeiende veld van KI-muziek gaat de meeste media-aandacht uit naar Google Magenta, die het zelfgemaakte piano-riedeltje heeft opgeleverd. Dit open source-project van de internetgigant biedt sinds 2015 componisten een gigantische databank (350.000 noten, ruim 1.000 instrumenten) en componeer-software (TensorFlow). Paradepaard is de NSynth, een ‘neurale’ synthesizer waarmee componisten de databank kunnen exploreren.

De database bevat drie soorten noten – akoestisch, elektronisch en synthetisch. Probleem is dat een goede weergave van een elektronisch geluid een akoestisch geluid kunstmatig kan laten klinken. Dat wordt verergerd als componisten de nieuwe klanken verder gaan bewerken.

Overgangen tussen klanken zijn bij dit soort software zelfs een probleem als de bron van de klanken identiek is. Iedereen weet hoe mechanisch het klinkt als een computerstem de losse cijfers van een telefoonnummer opleest. Pas recent heeft het bedrijf LynC dat voorlezen ‘natuurlijker’ gemaakt met software die heeft geleerd hoe mensen net voor en net na een klank spreken en die steeds dat klankovergangetje invoegt.

Beluister hier de nieuwe muziek

De Nederlandse start up Prolody verzon een vergelijkbare oplossing voor de vioolklanken, die een computer tot voor kort niet of nauwelijks vloeiend in elkaar kon laten overgaan. Prolody liet violisten tienduizenden noten en passages spelen, op allerlei manieren (helder en gedempt, hard en zacht, enzovoort). De computer pikt niet alleen de losse noten op, maar ook de context, de sequentie van de noten. Als de componist een stukje vioolmuziek maakt, zoekt de software een noot die daar het best in past. Het resultaat is indrukwekkend, vinden topviolisten volgens de New Scientist in 2015.

Natuurlijke overgangen zijn ook de grote uitdaging bij een techniek die al decennia wordt gebruikt om nieuwe sounds te maken: morphing.

De magie van morphing

Bij morphing, afgeleid van het Griekse ‘morf’ (vorm), gaat de ene klank dankzij manipulaties over in een andere klank. Zo verandert bijvoorbeeld een stem geleidelijk in een viooltoon, waarbij eigenschappen van de menselijke toon stapje voor stapje worden verruild voor die van de vioolklank. Dat is nadrukkelijk iets anders dan een stem en een viool die samen klinken.

Een primitieve vorm van morphing is te horen op Sgt. Pepper’s… van de Beatles. In de uitloop van de titelsong gaat de kreet van een haantje over in de aanslag op een elektrische gitaar. Veel geraffineerder is het vermaarde stuk Red Bird (1973-1977) van de Britse avantgarde-componist Trevor Wishart die erin slaagde om handmatig (!) en met een behulp van een analoge synthesizer het woord ‘listen’ te laten overgaan in vogelgezang.

Bij het scheppen van tussenvormen is de kunstmatige intelligentie behulpzaam. Zo kun je niet alleen laten zoeken naar klanken die je wilt morphen maar ook de verhoudingen instellen (bijvoorbeeld 45 procent stem, 55 procent viool). Google’s NSynth biedt daarnaast de mogelijkheid te morphen tussen vier bronnen (twee op de x-as en twee op de y-as) en zelfs meerdere bronnen.

Arjen Born

Marcelo Caetano, een musicoloog en IT-specialist die veel onderzoek doet aan muziek en kunstmatige intelligentie, schreef een dissertatie over morphing (2011). Hij is goed te spreken over geautomatiseerde morphing, maar ziet wel obstakels: „Software die bijvoorbeeld de menselijke stem goed weergeeft, produceert vaak armzalige kwaliteit voor stromend water. Als je een stem en een waterval morpht klinkt het resultaat slecht.” Hetzelfde geldt voor een morph tussen een fluit en kattengemiauw. Verschillen in aanslagtijd (of aanblaastijd) ervaren luisteraars ook als zeer storend, ontdekte Caetano toen hij de morphs van een harpischord (scherpe aanslag) en een tuba (zeer traag) liet horen. „Ik heb heel lang gewerkt aan aanslagtijden die geleidelijk variëren.”

Zo moeten de computers nog een hoop leren over muziek. Aan de andere kant moeten componisten ook beter leren met computers te werken, vindt Caetano: „Ik geloof dat de meeste componisten niet in staat zijn het volledige potentieel hiervan te benutten, omdat ze verdwalen in de overvloed aan mogelijkheden. Onderzoekers zoals ik en ontwikkelaars zullen daarom toegankelijkere software moeten maken, die beter aansluit bij de behoeften van musici.”