Forskning på musikkopplevelser
Musikk kan gi bedre helse og økt velvære. Men nøyaktig hvordan kan vi gjennom musikk bidra til at mennesker har det bra? Bunner gleden i selve musikken eller i noe mellommenneskelig i det man lytter til noe sammen? I MusicLab ser vi på hvordan musikken påvirker folk både kroppslig og mentalt. Dette gjør vi ved å studere både musikere og publikum og hvordan disse gruppene samhandler.
Det er mange myter om hvordan musikk virker på mennesker, men overraskende få empiriske studier av musikk i ekte konsertsituasjoner. Teoretiske eller labbaserte studier er noe helt annet enn forskning på musikalske opplevelser i en "økologisk" setting.
Introduksjon av MusicLab
MusicLab1, som denne videoen er basert på, viste at man blir mer engasjert av musikken om man sitter sammen med en gruppe mennesker man kjenner og om man sitter nær utøveren. Dette kunne vi observere ved hjelp av muskelsensorer (EMG) på underarmene til publikum om, og som du kunne se konturen av i visualiseringen under utøveren. Hva sier dette om musikkens virkning på oss? Er det slik at vi speiler utøveren på et vis? Og hvorfor økes effekten når man er nær utøveren eller folk man liker? Det tar tid å analysere og samle nok data, men vi er godt i gang.
Det hender vi inngår i ulike samarbeid, for eksempel var vi del av programmet til Oslo World i 2019. Temaet den gangen var utopi, og dette ble illustrert gjennom ulike måter å bruke eller ikke bruke kroppen til lydproduksjon, eksemplifisert gjennom dualiteten mellom kropp og sinn. Publikum ble utstyrt med akselerometre som målte bevegelsen i øvre del av kroppen for å måle hva slags musikk som engasjerte dem mest. Her er en video vi lagde i forkant av arrangementet:
En av de utgavene hvor vi virkelig hadde TV-kvalitet på produksjonen omhandlet rytme. Her hadde vi med et stjernespekket ekspertpanel, musikken ble til i samarbeid mellom et nybygd elektronisk instrument og en dansers bevegelser. Rytmesansen er en svært grunnleggende menneskelig egenskap. I kroppen vår har vi mange rytmiske systemer, slik som pust og puls. Kroppen følger også mange andre rytmer, slik som døgn, måned, og år. Personer som gjennomgår rehabilitering etter skade eller sykdom som har gjort at men ikke lenger kan gå ordentlig, kan noen ganger trigges av rytmisk musikk. Slik kan musikken ha en rehabiliterende virkning.
MusicTESTLab var en slags "slow TV"-sending med alt av rigging og et eksperiment som vi gjennomførte som en øvelse til det store arrangementet vårt i København. Selve eksperimentet begynner ca. 3t20m inn i videoen. Det ble brukt avansert bevegelses- og blikksporingsteknologi. Videoen gir et innblikk i hvor mye som faktisk skal til for å samle inn komplekse data i en ekte konsertsituasjon.
Nylig ble prosjektet internasjonalt da vi i København utstyrte den verdensledende Danish String Quartet med mange ulike datainnsamlingsteknologier. Da var det godt at vi hadde øvd oss under MusicTESTLab. I forkningsteamet inngikk forskere fra mange forskjellige land og med ulike innfallsvinkler - fra filosofi, til nevrovitenskap. Målet med denne utgaven var å finne ut hva som skjer underbevisst når man spiller og lytter sammen. Konkret ble dette undersøkt ved hjelp av måling av hjerterytme- og pustesynkronisering mellom musikerne og publikum, for å se etter indikatorer på en såkalt "delt sone for musikalsk absorpsjon", et fenomen som karakteriserer spesielt sterke konsertopplevelser. Forskerne undersøkte også sammenhengene mellom absorpsjon, oppmerksomhet og tankevandring, noe som kan avdekkes gjennom pupillometri og måling av mikrobevegelser.
Som nevnt går endel av forskningen ut på hvordan musikk kan forsterke fellesskap. Under pandemien ble strømmekonserter vanligere, og RITMO-stipendiat Dana Swarbrick grep sjansen til å studere musikkens virkning på folk som ikke er i samme rom fysisk, men som deler samme konsertopplevelse. I en verden herjet av pandemi og med synkende tillit til styresmaktene, kan det være interessant å se om musikken kan ha en samlende virkning.
I denne videoen forklarer hun begrepet "kama muta" (det å bli beveget / berørt) og sosial tilknytning, og snakker om bruken av akselerometerdata hentet fra deltageres smarttelefon i forskningsøyemed.
Tidligere har vi også testet hvordan musikere puster når de spiller og improviserer sammen, og om dette også gjenspeiles i publikum. Publikum pleier alltid å være veldig nysgjerrige på sine egne data etter konserten, noe som gir utgangspunkt for interessante samtaler. Den nyeste utgaven av MusicLab hadde synestesi som tema. Denne gangen samlet vi kun inn kvalitative data, men det ble en veldig fin konsert etterfulgt av en panelsamtale, data jockeying om Olivier Lartillots musikkvisualiseringsverktøy (del av MIRAGE-prosjektet) som han håper skal forsterke musikkopplevelser, samt en samtale med publikum om deres egne tanker om synestesi.
Her er en oversikt over ordinære MusicLabs til nå:
MusicLab6 - Human-Machine Improvisation
MusicLab7 - Danish String Quartet
Ideer til innhold i mediesak
Det er mange på RITMO og Universitetsbiblioteket og andre tilknyttede som er gode formidlere, og som gjerne lar seg intervjue. Alexander Refsum Jensenius og Solveig Sørbø er initiativtakere til innovasjonsprosjektet og holder i det fra hver sin side.
Nanette Nielsen, Simon Høffding og Remy Martin kan snakke om musikkopplevelser på et filosofisk, fenomenologisk og etisk grunnlag.
Anne-Kristin Solbakk kan snakke om hvordan hjernen analyserer rytmiske mønstre i omgivelsene.
Jonna Vuoskosky og Dana Swarbrick kan snakke om hvordan musikk oppleves på et psykologisk plan og sammenhenger mellom sosial tilknytning og det å bli beveget.
Çağrı Erdem kan fortelle om hvordan menneske og maskin kan interagere og sammen produsere musikk.
Tejaswinee Kelkar kan fortelle om hvordan man opplever melodisk kontur, noe hun har funnet ut av gjennom analyse av folks bevegelser til musikk.
Agata Żelechowska kan snakke om musikkens direkte effekt på folks mikrobevegelser og om menstruasjonssyklusens innvirkning på lytteopplevelser.
Dongho Kwak kan snakke om hva som skjer når man utsetter celler for ulike høyfrekvente lyder.
Dette var et lite utvalg, og det fins mange fler!
En ting som kunne være fint å gjøre i en eventuell mediesak er å lage en mini-MusicLab hvor man gjør et nytt eksperiment og involverer noen håndplukkede personer. Man kan for eksempel invitere to artister til å fremføre hver sin sang for hverandre, som en kort intimkonsert. Begge artistene (med band) og lytterne i rommet er utstyrt med sensorer som måler fysiologiske / biomekaniske data som hjerterytme, pust, bevegelse, blikk eller muskelaktivitet, og hjemme foran TVen, skjermen eller radioen måles lytternes / seernes reaksjoner gjennom MusicLab-appen som henter inn akselerometerdata om man legger smarttelefonen på brystet. Etterpå analyserer forskerne de innsamlede dataene og forteller hva de kan bety. Som sagt er folk ofte svært nysgjerrige på sine egne data, og stolte over å kunne bidra til vitenskapen! Vi er også åpne for andre ideer.
Åpen forskning
MusicLab er en "sandkasse" for eksperimentering med nyskapende datainnsamlingsmetoder og teknologiske systemer. Prosjektet utforsker hvordan det er mulig å bruke Åpen forskningprinsipper i praksis. Åpen forskning er ideen om at alle brikkene i et "forskningspuslespill" kan åpnes, fra søknad, gjennom forskningsprosess til resultater.
I MusicLab forsøker vi å åpne så mange som mulig av brikkene. Tanken er å dele informasjon om metoder åpent, samt legge ut analyseprogramvare, data, og resultater til fri bruk for andre.
MusicLab er nært knyttet til RITMOs øvrige aktiviteter og inngår i et samspill mellom grunnforskning, allmenforskning, og teknologiutvikling. Noen relaterte aktiviteter som kan nevnes er:
- Front Neurolab som undersøker hvordan hjernen arbeider når en må styre oppmerksomheten og reaksjoner hurtig og presist
- fourMs Lab, en verdensledende forskningsinfrastruktur for studier av menneskelig bevegelse i et omsluttende multimedia-oppset
- ROBIN som bidrar til utvikling av intelligente systemer, både på et grunnforskningsnivå og i praksis.
RITMO er til og med involvert i et prosjekt som undersøker hvordan celler påvirkes av lyd (ABINO) og to nye UiO:Livsvitenskaps-prosjekter: AUTORHYTHM og ITOM).
Om dokumentasjonen av MusicLab
Vi har hele tiden vært veldig bevisste på å gjøre en grundig dokumentasjonsjobb siden vi ønsker at materialet skal kunne ombrukes. Her er en oversikt:
- Multi-track-video og mikset versjon
- Multi-track lyd og mikset versjon
- Bilder fra forberedelser og arrangementer i høy oppløsning
- Fysiologiske, biomekaniske og kvalitative data fra de ulike eksperimentene
- Publiserte artikler og forskningsresultater
- Beskrivelser av metode, kontrakter og annet
Det vi produserer selv lisensierer vi stortsett som CC-BY, og det gjelder også mye av det vår samarbeidspartnere bidrar med, unntaket er opphavsbeskyttet musikk, som må klareres på nytt i forbindelse med bruk i film.