Musikkappen "Klappeslange" - semesteroppgave i MUS2830, h�st 2014
Innhold:
1. Innledning
Id�en til denne appen fikk jeg en dag jeg var p� jobb. Jeg jobber i en tilrettelagt bolig for psykisk utviklinghemmede, og en til flere av brukerne jeg har jobbet mye med liker � klappe og trampe. Vedkommende kan trampe lenge og uavbrutt, og jeg regner med at aktiviteten i hovedsak er et uttrykk for glede, men noen ganger har det kunne virke som at det ogs� er et uttrykk for kjedsomhet og understimulering. Etter � ha f�tt litt kunnskap om Pure data fikk jeg alts� id�en om et program som kunne fange opp klappe - og trampelydene via mikrofonen p� enheten og trigge dette instrumentet. Tanken er at mennesker som har problemer med � spille p� en instrumentapp p� en smart-telefon eller et nettbrett med touch, enten pga. motorikk, celebral parese eller andre �rsaker kan spille med klapping eller tramping. Eller � avlede oppmerksomheten til mennesker som i utgangspunktet klapper eller tramper (eller lager andre repetive lyder) pga. kjedsomhet. En slik app kan potensielt ogs� v�re akuell for andre m�lgrupper, f.eks. barn. Jeg har valgt � kalle denne appen "Klappeslange".
1.1 Problemstilling
Problemstillingen jeg har formulert meg lyder: Hvordan utforme en musikkapp som kan styres ved hjelp av klappelyder?
1.2 Programmer og ressurser
To programmer har jeg brukt for � lage appen "Klappeslange". Det ene heter Pure Data og er et et visuelt programmeringsverkt�y hvor man lager programmer som har med lyd og musikk � gj�re. Pure Data finnes b�de for Windows og Mac og kan lastes ned her. I emnet Interaktiv musikk (MUS2830) har jeg l�rt det grunnleggende for hvordan man h�ndterer Pure Data. Det andre programmet jeg har brukt heter MobMuPlat og kan lastes ned her. MobMuPlat muliggj�r at man kan styre en Pure Data-patch fra en smarttelefon eller et nettbrett. MobMuPlat er ogs� enkelt redigeringsverkt�y som hvem som helst kan l�re � bruke. Vi har i Mus2830 l�rt hvordan man bruker MobMuPlat.
2. Programmering av patchen
2.1 Bonk~-objektet
For � f� id�en min ut i praksis trengte jeg f�rst � finne ut hvordan jeg kunne lage et program som fanget opp lyd via mikrofonen og kunne bruke denne lyden til � trigge instrumentet. Jeg pr�vde flere forskjellige metoder for � finne den beste l�sningen. "Bonk"-objektet var det f�rste jeg tenkte p� etter tips fra fagl�rer Kristian Nymoen- et objekt som gj�r at programmet kan l�re en spesifikk type lyd etter man har gjentatt den et visst antall ganger for programmet. Dette var egentlig akkurat det jeg s� etter, men i starten syntes jeg det var ganske vanskelig � f� det til i praksis. Jeg brukte denne videoen som utgangspunkt da jeg skulle finne ut hvordan bonk-objektet fungerte. Grunnen til at jeg var usikker p� om dette ville fungere s� bra var at n�r man brukte bonk-objektet i patchen virket det som om den reagerte p� hvilken som helst mulig lyd, og man signalet ble trigget bare jeg trykket p� tastaturet. Imidlertid fungerte det mye bedre da jeg pr�vde det ut p� mobilen. Grunnen kan v�re mikrofonkvalitet p� laptop vs. mobilen eller noe annet.
Slik fungerer bonk-objektet: "thresh 20 80" bestemmer maksimum laveste og og maksimum h�yeste terskel for signalet som kommer inn. "debounce 0" vet jeg ikke helt hva betyr, men det var med p� youtubefilmen jeg brukte som hjelp, uten at meldingens betydning ble forklart noe videre. "minvel 50" indikerer at mindre frekvenser enn 50 ignorerers i registrering av lyden. "Learn 10" er knappen man trykker inn for at appen skal l�re lyden som skal gjentas. "learn 0" skal aktiveres for � avslutte innl�ringen av lyder. "forget" brukes enkelt og greit for � starte prosessen p� nytt. I tillegg videoen jeg linket til over, har jeg brukt Bonk-objektets egen bruksanvisning ("help", som man finner ved � h�yreklikke objektet) som inspirasjon i arbeid med bonk-objektet.
p� en litt annen m�te:
Env-objektet fanger opp lyden fra mikrofonen, og man kan selv bestemme minimum antall hertz som skal registreres f�r man sender ut et signal, enten 1 eller 0. Ulempen med env~ er at det vil variere fra enhet til enhet hvilket niv� man har mikrofonen p�, og dessuten blir det vanskelig � styre med tanke p� feedback. Det viste seg alts� at bonk gjorde jobben best, s� env ble forkastet.
2.2 Fire forskjellige forh�ndsprogrammerte tonerekker med "tabread"
N�r bonk-objektet aktiveres med f.eks. en klappelyd, blir signalene 0 og 1 sendt til en tabell som styrer ei tonerekke som er bestemt p� forh�nd. For � gi litt valgmuligheter har jeg programmert inn fire forskjellige tonerekker som best�r av 32 toner hver, et eksempel p� en slik melodi ser du her (�pningstema fra fuge i Dmoll av J. S. Bach):
Neste steg ville v�re � lage en funksjon der man har mulighet til � forandre p� melodien selv i mobmuplat. Slik det er n� m� man g� inn i selve PD-patchen og endre disse tallrekkene som symboliserer toner. For � gj�re det pedagogisk enkelt er tallet 1 en C. dette fordi tallrekka blir plusset opp med 47 miditoner, dvs 1 + 47 = 48 som er C3 (lille c) i miditoner. Slik jeg har gjort det er melodien eller skalaen n�dt til � vare 32 noter. Det er relativt begrensende, men det gj�r at det er lett � svitsje mellom de forskjellige melodiene. "lisa gikk til skolen" m�tte f� et lite "mellomspill" for at det skulle g� opp. Underveis pr�vde jeg ut � f� inn variasjon i noteverdi slik at summen toner ble 32 (fire 4/4-takter a 8 toner i takta, og det var vel derfor jeg endte opp med tallet 32 Jeg fant til slutt likevel ut at i en sang som "lisa gikk til skolen" s� m� brukeren selv f� bestemme noteverdi, s� programmerte jeg heller inn alle tonene, dette fungerte best. Jeg har hentet inspirasjon fra denne videoen i arbeid med denne type sequenzer.
2.3 Lyddesign
Lyden jeg endte opp med ble en hammondorgellignende lyd, satt sammen av en oscillator med flere sinusb�lger. I appen kan man selv justere overtonene for � f� fram �nsket klang. Slik ser dette ut i patchen:
N�r man skrur opp den r�de volumkontrollen legger man til en tone som ganger den opprinnelige tonen med 2. Hvis grunntonen da er 220 hertz, f�r man alts� lagt til tonen som ligger �n oktav over - 440 hertz. Som du ser p� bildet har man mulighet til � bygge opp en kompleks klang ved � dra opp volumet p� de forskjellige overtonene.
Jeg har ogs� lagt til en romklang som i sin helhet er kopiert fra Katja Vetter. All kudos til henne alts� for at hammondorgelet har f�tt litt romklang. Det eneste jeg har endret p� er niv�er fordi jeg opplevde at det fort ble en distortion p� lyden etter � ha koblet til reverbet.
Reverbpatchen til Katja Vetter finner du her: http://forum.pdpatchrepo.info/topic/6247/freeverb-in-vanilla-pd/2
2.4 Slangeanimasjon
Jeg fant ut at det var nyttig � ha med en slags animasjon som viser at man har satt igang et signal og appen har registrert signalet. Som et slags feedback. siden appen heter klapperslange, s� tegnet jeg en s�t slange i tegneprogrammet MSPaint som beveger halen sin n�r man "klapper" en tone. 
Screenshot av hele patchen med kommentarer finner du her (trykk p� bildet for � se det i fullt format):
3. Brukervennlighet og utpr�ving av appen
3.1 Utseende
Her ser du screenshots av hvordan appen ser ut p� en iPhone:
Side 1
Side 2
Side 3
Side 4
3.2 Beskrivelse av appen
Appen har alts� fire sider. P� f�rste side blir man bedt om � konfigurere appen med klappe- eller knipselyder eller andre typer lyder. Man skal ikke se bort ifra at det i teorien kunne fungert med hvilken som helst type lyder, men klapping og knipsing er det som s� langt har fungert best. P� side 2 skal man velge mellom de forskjellige tonerekkene, her kalt melodier. Volumet m� man skru opp selv p� denne siden, og dersom man ikke trykker inn en av melodiene s� vil appen bare gjenta �n tone. P� neste side skrur man til orgel drawbars og klang. P� fjerde og siste side er det enkelt og greit kun bilde av den s�te klappe-slangen som beveger p� halen for hver gang du klapper deg �n tone videre i tonerekka. Har ogs� lagt til en ekstra volumkontroll samt en av-knapp slik at man har den muligheten.
Appen har mange forskjellige, sterke farger og en barnslig paint-tegning av en gr�nn slange. Utseendemessig er derfor kanskje appen litt barnslig og appelerer til barn. Appen er likevel ganske avansert og var ikke s� lett � bruke skal vi tro testpersonene.
3.3 Testpersoner
Jeg testet appen p� fem personer, der �n av disse var i brukergruppen (psykisk utviklingshemmet) og de fire andre var personale som jobber med brukergruppen. Det ferdige resultatet er endret p� etter jeg utf�rte testingen, og testingen var en viktig del av � forbedre det ferdige produktet. F�r testingen var knappene p� side 1 mindre, og det var vanskeligere � se om man hadde trykket ned knappen eller ikke pga. fargevalget. Lyden var dessuten verre � h�re p� fordi jeg ikke var helt ferdig med programmeringen- den var uten klang og spilte kontinuerlig uten stopp. Animasjonen med klapperslangen var heller ikke med.
Kort oppsummert virket det som at appen var noe vanskelig � f� til uten at jeg forklarte grunnsprinsippene og demonstrerte for testpersonene f�rst. Noen av testpersonene pr�vde med en annen type lyd enn klapping eller knipsing. Dette virket ikke p� appen, muligens var ikke lyden de valgte h�y nok. For testpersonen som hadde psykisk utviklingshemning m�tte jeg selv konfigurere appen, da vedkommede ikke hadde forutsetninger for � forst� eller klare dette. Jeg demonstrerte appen og pr�vde � engasjere testpersonen til � pr�ve selv. Testpersonen var noe uinteressert i � pr�ve selv, men viste iver etter at jeg skulle styre appen med klappingen. Vedkommende begynte � synge sammen med den ene melodien "Lisa gikk til skolen" og viste forh�yet evne til muntlig kommunikasjon enn det som var vanlig for denne personen. Dette var et uventet, men utelukkende positivt resultat. Det er imidlertid umulig � si om det kun var denne appen som trigget sang og prat hos denne personen, det kan ogs� ha v�rt helt tilfeldig. For � vite mer sikkert om denne appen faktisk kan brukes som et musikkterapautisk verkt�y til denne enkeltpersonen, m�tte det ha blitt utf�rt en langt mer omstendelig og empirisk testing over lengre tid enn denne semesteroppgaven ville gitt rom for.
En av testpersonene fikk lastet ned appen til sin Android-telefon. Det viste seg at appen fungerte d�rlig p� android - dessverre. Utseendemessig s� alt likt ut, men appen klarte ikke � l�re klappelydene godt nok til at man kunne styre melodiene med klapping. Jeg vil anta at dette har med feedback og mikrofoninntillinger � gj�re. Jeg har selv brukt en Iphone 4S til uttesting av appen. Her fungerer appen best n�r man bruker klappelyder, og aller best fungerer det n�r man bruker hodetelefoner.
3.4 Video
Her kommer en video hvor jeg demonstrerer bruken av appen:
4. Oppsummering/konklusjon
� arbeide med denne oppgaven har v�rt s�rdeles l�rerikt og spennende. Jeg har l�rt masse om Pure Data og MobMuPlat, og prossessen fra id� til produkt har v�rt b�de utfordrende og morsom. Jeg har valgt � gi produktet mitt undertittelen "versjon 0.1." for � understreke at dette er en slags prototype. Jeg kommer til � jobbe videre med denne appen for � gj�re den enda bedre, men dette vil v�re en tidkrevende prosess som krever mer kunnskap om programmering enn det jeg har i dag i tillegg til omfattende testing hos brukergruppen. Selv om appen kan utvikles og forbedres, har jeg klart � finne svar p� min hovedproblemstilling: Hvordan utforme en musikkapp som kan styres ved hjelp av klappelyder? Fokuset har v�rt at appen skal styres med klappelyder, men designet av lyden har ogs� v�rt viktig for at man faktisk skal f� en f�lelse av at man lager musikk. Jeg h�per dessuten at id�en bak denne appen kan inspirere andre til � lage lignende programmer til bruk i forskjellige former for musikkterapi.
Appen kan lastes ned som zip-fil ved � trykke p� denne linken.
Referanser: