Å bruke maskiner til å lage musikk er langt fra nytt. Men de siste årene har kunstig intelligens (KI) inntatt musikkens verden: For eksempel kan et menneske skrive hovedmelodien mens maskinen, gjennom KI, lager arrangementet i bakgrunnen.
Musikk laget av KI har imidlertid sjelden så mye overraskende ved seg, ifølge Çağrı Erdem, forsker ved RITMO Senter for tverrfaglig forskning på rytme, tid og bevegelse på Universitetet i Oslo.
– Overraskelser ikke er KIs prioritet. Det handler mer om å gi deg det du bestiller, sier han.
Dette ønsket han å gjøre noe med.
– Jeg ønsket at maskinen skulle bli en partner; at vi kunne lage musikken sammen. Da måtte maskinen ha en form for egen vilje, slik at den kan handle på egenhånd: det vi på engelsk kaller «agency», sier han.
Maskinen som partner
Dette ble tema for en doktorgradsavhandling som han nylig fullførte. Her utforsket han det han har kalt «delt kontroll» (eng: «shared control»), der han har utviklet ulike interaktive systemer.
Det ene systemet har han kalt CAVI. Dette er et instrument som kontrolleres både av en musiker og av en maskin, og der begge aktører kan ta valg.
– I dette klippet kan seks gitarer lytte og reagere basert på det de hører. Det blir et slags gitarkor, der gitarene gir sitt eget bidrag til komposisjonen, forteller Erdem.
Her spiller Çağrı Erdem og seks selvspillende gitarer ved hjelp av CAVI.
Kroppens viktige bevegelser.
Han har også utforsket hvordan vi kan bruke kroppen til å samhandle med KI.
– Når du ser på de KI-systemene som finnes i musikk i dag, samhandler de ikke med menneskekroppen. De baserer seg stort sett kun på lyd. Men når du spiller sammen med musikere, kommuniserer du med dem både gjennom lyd og bevegelse.
Çağrı Erdem fikk derfor 36 gitarspillere til laboratoriet. Han samlet et datasett som fortalte hvordan bevegelsene deres hang sammen med musikken de spilte.
– Jeg så at det er et tett forhold mellom lyd og bevegelse, spesielt bevegelsene av høyrehånden. Måten vi berører gitarstrengen på reflekterer nesten nøyaktig hvordan lyden høres ut.
Erdem brukte en maskinlæringsalgoritme til å kode bevegelse og lyd, slik at han senere kunne gi maskinen informasjon om bare bevegelse og få lyd fra maskinen som resultat.
Han endte med et system som kan lage musikk mens han spiller luftgitar. Systemet fikk navnet «Playing in the «air»». På sikt kan slik teknologi forbedre samspillet mellom mennesker og maskiner, mener han.
Workshop om musikk og kunstig intelligens
Tid: 21.–22. november
Sted: Universitetet i Oslo og Zoom.
Nye instrumenter gir framtidens musikk
Erdem jobber med et smalt felt. Men han mener at forskningen er viktig – av flere grunner.
– I musikkhistorien har enkelte nye instrumenter hatt en svært stor påvirkning på musikken som blir laget.
Da pianoet kom, het det opprinnelig «pianoforte» fordi du kunne spille både svakt (italiensk: piano) og sterkt (italiensk: forte) på det.
– Musikkstykker som ble skrevet i etterkant, bærer preg av de nye mulighetene som pianoet ga. Slik påvirket instrumentet musikken. Jeg mener at forskning på nye instrumenter er svært viktig fordi det er med å bygge grunnlaget for framtidens musikk, sier Erdem.
En mer kreativ kunstig intelligens
Han peker imidlertid på at teknologifeltet ledes av ingeniører, ikke kunstnere.
– Dette ser vi på de KI-systemene vi har i dag. Skriver du ordet «katt» i en søkemotor, får du opp bilder basert på andre kattebilder. Dette gir jo mening, men det innebærer også at algoritmen ikke gir deg bilder av de sjeldne kattene.
Hvis KI skal kunne bidra til å skape bredere musikalske uttrykk, må flere kunstnere begynne å bruke det, ifølge Erdem.
.jpg)
– Vi som jobber i krysningsfeltet mellom kunst, teknologi og forskning, må utforske hvordan algoritmer kan være med å utvide kunsten og musikken i framtida.
KI i framtiden
KI bidrar allerede betydlig til folks musikkopplevelser. Når strømmetjenesten anbefaler artister til deg? KI. Når du lytter til filmmusikk med store orkester-arrangementer? Det kan være KI som har laget dem, kanskje basert på en enkel melodi.
Forskeren er ikke i tvil om at KI om 50 år vil være til stede i alle stadier av musikkproduksjon.
– Jeg tror vi vil bruke KI både i låtskriving, arrangering, innspillinger, miksing, strømming, promotering og live-opptredener – blant annet.
I tillegg tror Erdem at vi vil ha KI-musikere med enorme fanskarer. Roboten Shimon
finnes allerede. Foreløpig har den ingen fanskare, men den kan bookes til arrangementer.
– Så vil vi nok måtte gå noen runder med opphavsrett. Der vet vi ikke hvordan ting blir ennå. Her har vi for eksempel strevd med å finne ut hvem som har opphavsretten til musikken CAVI bidrar med, for det finnes ikke regler for dette i det norske systemet, sier Çağrı Erdem.