Mukaansatempaava Resonanssi

ENGLISH INTRO: This years Resonanssi – the eighth of its kind – gathered up professionals and students from the audiovisual field to Mediapolis. Two days of presentations, lectures, demonstrations and screenings tackled the phenomenon of  sonic immersion. Ari Koivumäki reports.

Ari Koivumäki on mediatuotannon yliopettaja Tampereen Ammattikorkeakoulussa.

 

 

Osallistuin kahdeksanteen Resonanssi – kun ääni kohtaa kuvan -tapahtumaan marraskuun alussa Mediapoliksella. Aiheen tällä kertaa immersiivinen audio, paikalla puolensataa äänialan ammattilaista ja opiskelijaa ammattikorkeakouluista ja yliopistoista. Luennoitsijoita oli yhdeksän kahden päivän aikana, perjantaina vielä elokuvaesitys ja illanvietto. Teema yhdisti esitykset mukavasti, mutta olihan siinä kuunneltavaa.

Minua on pitkään harmistuttanut ja ärsyttänytkin käsitteiden epämääräinen käyttö. ”Immersiivinen” on tämän listan kärjessä. Haluan käyttää kieltä, joka on yksiselitteisesti tulkittavissa ja viestittävissä. Ymmärrän hyvin, ettei kaikkia ilmauksia tai käsitteitäkään voi kääntää suoraan suomen kielelle, mutta silloin pitäisi kiertää ongelma käyttämällä joko useampia sanoja tai kuvaavampia ilmauksia. Ajatusten välittäminen toisille on vaikeaa, epämääräisyys haittaa viestin perille menoa ja väärinkäsityksiä on ikävä korjata jälkeenpäin. Pelkäsin että teemaksi valittu ”immersiivisyys” lastataan toiveilla ja unelmilla ”paremmasta äänimaailmasta” sen kummemmin perustelematta. Turhaan pelkäsin.

Catarina Mendonca, kognitiotieteilijä Aalto-yliopistosta aloitti tapahtuman kertomalla tutkimuksistaan äänen havaitsemisesta tilassa. Hän esitti mielenkiintoisia seikkoja kuulon ja näön kytkeytymisestä, valikoivasta tarkkaavaisuudesta ja siitä, miten epävarmat havainnot vahvistuvat enemmän kuin selkeät ensimmäisten 80 millisekunnin aikana. Ilmeisesti kuuntelija yrittää hakea kuulemalleen merkitystä tämän epävarmuusikkunan aikana ja ellei sitä löydä, asenne herpaantuu. Mitä kiinnostuneempi hän on kuulemastaan, sitä enemmän ja tarkemmin hän kuuntelee. Keskittyminen ratkaisee sisällön! Mikä siis on immersion ja keskittymisen suhde?

Seuraavaksi esiteltiin 360-tallenteen äänisuunnittelua. Tipi Tuovinen on monikanavaisen äänen edelläkävijä ja tallentanut monen sinfoniaorkesterin esityksiä 5.1 järjestelmällä toistettavaksi. Media-alan opiskelijan Mark Malyshevin kanssa he kertoivat Muumimuseon avajaisiin liittyvän gaalakonsertin äänityksestä ja yhdistämisestä kolmen Nokian OZO-kameran 360-kuvaan. Tehtävä oli mittasuhteiltaan haastava: 240 ääniraitaa, joilla luotiin kolme äänikenttää. Suurimpia ongelmia oli ajastaa eli vaiheistaa eri etäisyydellä olevat mikrofonit kulloinkin katsottavaksi valitun 360 kameran ja päämikrofoniasetelman mukaan. Heidän kokemuksensa mukaan väärä vaiheistus tuhoaa helposti immersion eli tilavaikutelman. Aihe on kiehtovan haastava: mitä yleisö haluaa kuulla tällaisen kolmiulotteisen tekniikan avulla? Yleisö on tottunut kuulemaan orkesterin soinnin omalta kohdaltaan konserttisalin akustiikan muokkaamana – äänilähteen edestä, eikä sen keskeltä. Peliäänen suhteen tilanne on toinen. Pelaaja on tottunut olemaan tapahtumien keskellä, eikä ehkä vierasta sijaintiaan edes orkesterisoittajien ympäröimänä.

Video: 360-kamerataltiointia Tampere-talolta.

Jussi-palkinnon Bodom-elokuvan äänisuunnittelusta saanut Panu Riikonen esitteli Dolby Atmos -toistojärjestelmän edellyttämiä ratkaisuja: miten hallita 200:aa ääniraitaa? Atmos antaa Panun mukaan tilaa sijoittaa ääniä teatterisalissa, mutta käytännössä valkokangas keskittää suunnan eteen eli huomiota ei voi siirtää pois kuvasta esimerkiksi yllättävillä takaa kuuluvilla äänillä, jotka yllyttäisivät kääntymään. Erilaisiin kerroksiin perustuva toistojärjestelmä hyödyttää toiminnallisia kohtauksia, mutta on Panun kokemusten mukaan vaikeasti skaalautuva eri kokoisiin kuuntelutiloihin ja raskas miksattava, jotta siitä saisi esteettistä lisäarvoa. Bodom on tyyliltään ”teini-slasher”. En siis kokenut yhtään olevani elokuvan kohderyhmää, mutta äänisuunnittelu vakuutti.

Lauantain aloitti peliäänisuunnittelija Ville Sorsa Remedyltä. Jos edelliset esimerkit monikanavaisen tilan luomiseen tarvittavista ääniraidoista tuntuivat paljolta, Quantum Break -peliin verrattuna ne eivät pärjää. Ville osallistui sen äänisuunnitteluun viiden vuoden ajan, ja lopputuloksessa on 11 000 repliikkiä ja 25 000 äänitehostetta. Tämä vastaa seitsemän elokuvan materiaalimäärää! Kolmiulotteinen äänimaisema luotiin Ambisonics-formaatilla, jota voidaan toistaa erilaisilla järjestelmillä, jopa monofonisena. Pelaamisen aktiivisuus vaikuttaa kuuntelukokemukseen: tilaan uppoutuu helpommin, kun tapahtumat tempaavat mukaansa. Immersio syntyy tässäkin keskittymisestä. Villen mukaan sen voi rikkoa, ellei kuva- ja äänimaailma vaikuta yhtenäiseltä tai jos toiminta on epäloogista äänimaailman suhteen, mikäli merkityksellisiä ääniä puuttuu tai tila kuulostaa oudolta (esimerkiksi elleivät materiaalien äänet sovi toisiinsa, kuten vaikkapa askeleet jollakin pinnalla, jonka kuulija tunnistaa ja kokee virheeksi). Pelaajan on koettava olevansa keinotekoisen maailman sisällä uskottavalla tavalla voidakseen sitoutua pelaamiseen ja unohtaa sen hetkinen ympäristönsä. Alla olevasta kuvasta näkee millä tahdilla pelin jännite aaltoilee ja huippukohtia viljellään.

Kuva: Quantum Break highlights. Valokuva: Ari Koivumäki.

Seuraava puhuja, Janne Auvinen, on pitkän linjan teatteriäänisuunnittelija. Hänen mukaansa kaikki ääni teatterissa on immersiivistä eli tilassa soivaa ääntä. Äänen toistaminen katsomoon siten, että kaikki kuulisivat esityksen samalla tavalla, on vaikeata tuottaa hallitusti. Puheen ja musiikin yhdistäminen ei ole helppoa, sanoista on saatava tolkkua. Yleisö yrittää päästä näyttelijän ”pään sisään” – ellei puheesta saa selvää, kuulija ärsyyntyy. Sähköinen vahvistaminen edellyttää laadukkaan toistojärjestelmän, joka tukee esitystä. Haasteena on yleisön ja laitteistojen aiheuttama pohjamelu, joka peittää alleen hienovireisen äänimaiseman ja täten vaikeuttaa sen luomista.

Riitta Rainio kertoi ääniarkeologiasta. Ensimmäinen esimerkki oli Gotlannissa sijaitsevan kivikautisen asujaimiston ääniympäristön rekonstruointi. Riitta esitteli ääniä, jotka ovat peräisin alueen luonnosta, maaperästä ja eläimistä, sekä 3200–2300 eaa. tuotetusta esineistöstä, kuten työkaluista ja soittimista. Toisena aiheena hän tarkasteli suomalaisten esihistoriallisten pyhien paikkojen akustiikkaa eli arkeoakustiikkaa. Tästä kannattaa lukea artikkeli Muuttuvat suomalaiset äänimaisemat -julkaisun sivuilta.

Tapahtuman lopuksi Päivi Takala veti ansiokkaasti yhteen Resonanssin teeman. Äänen ja musiikin merkitykset ovat perinteisesti olleet hankalasti sanallistettavia, mutta erityisesti peliteollisuuden myötä uusia käsitteitä on kehitetty. Immersio on tästä hyvä esimerkki, jonka Päivi määritteli muistiinpanojeni mukaan näin: ”syventynyt kokemus, kokemuksellinen vuorovaikutus, jonka kokija on esityksen keskipisteessä. Aistimisen ja kokemisen tila.” Hän yhdisti immersion hyvin myös omaan tutkimukseensa äänen tuntoisuudesta.

Rytmiikan hienovaihtelut ja täydellisen grooven metsästys

Editor’s English intro: In his post about rhythmical precision and the hunt for the perfect groove, professor of physics Esa Räsänen introduces his study on the physics of drumming. It has long been known that musicians do not keep time with the precision of a metronome. Here he argues that in deviating from a perfectly precise beat, a professional drummer makes patterns in the timing and dynamics that have a particular mathematical form – a fractal. These fractal, long-range correlated deviations make music sound distinctly human. The work uses audio detection tools and time series analysis methods to come to these findings. Check out the references for more information in English, and enjoy the videos.

*** 

Esa Räsänen on Tampereen teknillisen yliopiston fysiikan professori, joka tutkii laskennallisesti kvantti-ilmiöitä, elektronirakenteita, kompleksisia järjestelmiä ja aikasarjoja. Hän soittaa harrastuksenaan rumpuja TUT Prof Experience -yhtyeessä.

 

Millainen musiikki saa pään nyökyttämään, sormet naputtamaan tai jalat kohti tanssilattiaa? Niin sanotun grooven eli musiikin imun kokemuksesta on tehty runsaasti tieteellistä tutkimusta. Yleisen määritelmän mukaan groove on ”subjektiivinen kokemus halusta liikkua rytmikkäästi musiikkia kuunneltaessa” [1].

Jos unohdetaan subjektiiviset tekijät, niin rytmiikan kannalta grooven kokemukseen vaikuttavat ainakin synkopaatio [2], yhteissoitto eli musiikillinen kommunikaatio [3] sekä rytmiikan hienovaihtelut [4,5]. Synkopaatiolla tarkoitetaan tahdin tiettyjen iskujen korostamista,esimerkiksi 4/4-rockin painotusta tahdin iskuilla 1 (bassorumpu) ja 3 (virvelirumpu). Tätä täydennetään 1/8-nuottien korostuksilla lukuisin eri variaatioin. Hienojakoisempi 1/16-tason synkopointi on keskeinen tekijä esimerkiksi funkissa ja soulissa. Bassorummun voimakkaan 1/16-synkopoinnin malliesimerkkinä mainittakoon Red Hot Chili Peppersin ”Suck My Kiss”.

Video: Red Hot Chili Peppers,”Suck My Kiss”.

Yhteissoitossa synkopoituja iskuja korostetaan entisestään ja niitä luodaan lisää. Grooven kannalta olennaista on rumpalin ja basistin yhteispeli sekä rytmisen jännitteen luominen – soiton tarkkuutta unohtamatta. Esimerkkinä yhteissoiton groovesta käy James Brownin ”Too Funky in Here”, jossa pelkistettyä rumpukomppia tukee muun orkesterin saumaton rytmikudoelma. Tämän kappaleen useimmissa liveversioissa rytminen jännite on (subjektiivisesti arvioituna) rikottu liian nopealla tempolla. Steely Danin ”Josie” on myös herkkä tempovalinnan suhteen, ja tässä Donald Fagen onkin tarinoiden mukaan ollut pakkomielteisen tarkka. Rytmisen jännitteen voi pilata myös liiallisella soittamisella. Diskomusiikin tuottajavelho Nile Rodgers kuvaa tätä osuvasti Chicin ”Le Freak”-kappaleen kitarariffin yhteydessä: ”It’s the stuff that you don’t hear that makes it funky” (ks. video alla). Tai yksinkertaisesti: Less is more.

Video: Niles Rodgers giggin tips, kohdasta 2:55 eteenpäin.

Palataan soiton tarkkuuteen. Kuvitellaan, että kuulet metronomin tasaisen nakutuksen ja tehtäväsi on samanaikaisesti naputtaa pöytää täsmälleen metronomin tahdissa. Vaikka suoriutuisit tehtävästä hyvin tai vaikka olisit ammattirumpali, niin teet väistämättä pieniä ”virheitä” eli poikkeamia metronomiin nähden. Vuonna 2011 julkaistussa tutkimuksessa [4] todettiin, että nämä yksittäiset poikkeamat ovat satunnaisia, mutta poikkeamien muodostaman jonon rakenne on samankaltainen eri mittakaavoissa. Vastaava fraktaalinen rakenne esiintyy myös mm. sydämen sykevälivaihteluissa [6] sekä tutummin kukkakaalissa, puiden oksistoissa ja Norjan rikkonaisessa rannikossa. Täsmällisemmin ilmaistuna ihmisen aikaansaamat rytmiset poikkeamat eivät ole valkoista kohinaa, vaan niissä on pitkän kantaman korrelaatioita.

Rytmipoikkeamien fraktaalinen rakenne on jo itsessään mielenkiintoinen tulos, mutta erityisen kiinnostava lisähavainto on se, että psykologisen kokeen mukaan tällaiset poikkeamat saavat musiikin kuulostamaan paremmalta [4]. Löydöksestä inspiroituneina aloimme selvittää rytmivaihteluita äänitetyssä musiikissa, mitä ei aiemmin ollut tutkittu juuri lainkaan – etenkään pitkän kantaman korrelaatioiden näkökulmasta. Valitsimme erityiseen tarkasteluun Michael McDonaldin kappaleen ”I Keep Forgettin’”, josta tutkimuskollegamme Tuomas Virtanen pystyi keräämään rumpalilegenda Jeff Porcaron hi-hat -iskut millisekunnin tarkkuudella. Aikasarja-analyysi paljasti, että iskujen poikkeamat todella skaalautuivat fraktaalisesti. Tosin lyhyillä, alle kahden tahdin aikaskaaloilla havaittiin sekä antikorrelaatioita että tulkinnan nyansseja. Lisätietoa tutkimuksestamme löytyy alkuperäisartikkelin [5] lisäksi mm. Science-lehden uutisesta, Nottinghamin yliopiston tekemästä Youtube-videosta sekä YLE Prisma Studion videoklipistä, jossa Otto Pulkkisen kanssa tutkimme jazz-rumpali Teppo Mäkysen soiton ”fraktaalisuutta”.

Video: YLE Prisma Studio 6.10.2016.

Yllä kuvattuja fraktaalisia poikkeamia ei luoda tietoisesti, vaan kyseessä on luonnollinen, toistaiseksi vielä selittämätön seuraus hermomotoriikan toiminnasta. Lisäksi yksittäiset poikkeamat eivät ole suoraan kuultavissa: Porcaron tapauksessa iskujen välisten intervallien keskihajonta on vain noin yhdeksän millisekuntia, eli soitto on äärimmäisen tarkkaa. Voidaan kuitenkin todeta fraktaalisen rytmivaihtelurakenteen vaikuttavan positiivisesti kuuntelukokemukseen. Lisäksi tutkimukset osoittavat, että kahden koehenkilön yhteissoitossa havaitaan fraktaalisten rytmipoikkeamien poikittaiskorrelaatioita [3]. Kokeen aikana soittajille syntyy subjektiivinen kokemus groovesta samalla hetkellä, kun poikittaiskorrelaatiot syntyvät hienovaihteluihin.

Loppuyhteenvetona todettakoon, että groove on moniulotteinen ja subjektiivinen käsite, jonka taustalla on myös kvantifioitavissa olevia tekijöitä kuten synkopointi, musiikillinen kommunikaatio sekä rytmipoikkeamien hienovaihtelut. Tutkimus hienovaihteluista on vasta alkuvaiheessa, eikä yllä mainittujen löydösten riippuvuutta esimerkiksi soittajasta, musiikkityylistä, tahtilajista ja temposta tunneta vielä juuri lainkaan. Aikasarja-analyytikoille riittää siis töitä ja hupia. Let’s groove!

Viitteet
[1] Ks. esim. G. Madison, Experiencing Groove Induced by Music: Consistency and Phenomenology, Music Perception 24, 201 (2006).
[2] G. Sioros et al., Syncopation creates the sensation of groove in synthesized music examples, Frontiers in Psychology 5, 1036 (2014).
[3] H. Hennig, Synchronization in human musical rhythms and mutually interacting complex systems, Proceedings of the National Academy of Sciences 111, 12974 (2014).
[4] H. Hennig et al., The Nature and Perception of Fluctuations in Human Musical Rhythms, PLOS ONE 6, e26457 (2011).
[5] E. Räsänen et al., Fluctuations of Hi-Hat Timing and Dynamics in a Virtuoso Drum Track of a Popular Music Recording, PLOS ONE 10, e0127902 (2015).
[6] Ks. esim. A. L. Goldberger et al., Proceedings of the National Academy of Sciences 99, 2466 (2002).

 

The first blog post

Radio drama script.

[SCENE 1: INT, OFFICE, MORNING]

Characters:
K: Konstantinos Drossos, post-doctoral researcher at Tampere University of Technology, signal processing, blog editor
M: Meri Kytö, post-doctoral researcher at University of Tampere, music studies, blog editor

[SFX: b/g dry office ambiance, ventilation hum, occasional tapping of keyboard]

M WALKS TO K’s OFFICE DOOR.

[SFX: knocking on door]

M: Kostas, do you have a minute? We should talk about the blog, the Sound Research Network blog? We should write something together to introduce it, get it going.

K: Hi Meri, yes sure… OK. We should talk about the purpose of the blog first?

[SFX: (pause in dialogue) ventilation hum]

M: Yeah, it would be good to go through what we want to accomplish. [pause] My main thoughts are, that if we are – and I guess we are – to keep the Network up and running we’d need the blog to be the hub of the network, like a more grassroots level, peer-to-peer, research and discussion oriented forum that even students could relate to. To introduce our Network members and what they are up to.

K: I imagine that we need to be not focused only on the technical aspects but, on the same time, not focused only on the cognitive or philosophical aspects. [pause] I guess that we want to bridge the gap of all the different views on sound and promote interdisciplinary approaches. Right?

M: Yes… it should definitely be accessible to all network members, written in a way that it addresses all members? Or at least tries to be understandable and if possible, topical in the region. Current events, research, topics, happenings, discussions, people… Every post should somehow, in some level, recognize the fact that it is a multidisciplinary forum that is trying to attract new people and new perspectives.

[SFX: people passing the office, footsteps]

K: Yeah. I’d propose that it would be good to have interviews from relevant fields not directly associated with audio research, but the interview would highlight the connection of that field with research on audio. For example, machine learning, psychology, biology… These interviews could be with people from outside Finland, in order to provide more sight to what is been done abroad.

M: Sure, discussing with current research would be good. A blog is a quick and easy tool for that, yeah. There isn’t many forums in Finland that do this, at least not as broad in disciplines as our Network.

[SFX: sipping coffee (paper cup)]

K: Also, I think that we must also include dissemination of scientific results. For example, we could ask from the people of the Network to inform the blog about their new publications so we can share them? In the long term, the blog could be a platform to openly share research data and/or results. But this is for the long term…

[SFX: writing on keyboard, sipping coffee (paper cup)]

M: And the format of each post could vary according to the writer. If someone would like to post a video or a podcast that would be ok, right? An interview format would be good every now and then. I have a few ideas.

K: Me too… So, what would you like to do for our first post?

[FADE OUT B/G]

****Join the Sound Research Network! The network is intended for the researchers, teachers and students at TAMK, UTA and TUT who work in the different fields of sound (e.g., music, vocology, signals, acoustics, listening, composing, urban planning, media, soundscape and sound technology etc.). Check out the upcoming events. The network has an e-list. If you want to join it send a message to the moderator: meri.kyto (a) staff.uta.fi****