Beatboxaava Siri – sosiaalisen median ääniantropologiaa

Beatboxaaja HeartGrey, kuvakaappaus YouTube-videosta (alla).

ENGLISH INTRO: Music is a central part of the YouTube videos. In some cases, these performances are not musical performances in traditional sense, but music and sound are a part of everyday practices. Experiments can include, among others, “unboxing” of loudspeaker devices and testing their qualities. A few years ago an innovation, which attracted many was beatboxing with Siri; “ intelligent assistant” of Apple was involved in the music making with the help of the power decrease. In her blog post, Beatboxing with Siri – about Sound Anthropology of Social Media, Tarja Rautiainen-Keskustalo debates, how these examples highlight the multimodal nature of human action in the everyday life. The interplay of the senses is rarely observed, because in the Western world music is often considered as an autonomous area, which can be discussed solely through taste. However, social media, which integrates different mediums together, gives many reasons to think how the materiality of the senses is a part of social action.

***

Tarja Rautiainen-Keskustalo on musiikintutkimuksen professori Tampereen yliopistossa. Hän tutkii ääntä ja musiikkia osana arjen (ja juhlan) toimintaa.

 

 

Seurailen YouTubea usein varhaisteinin olan takaa. Diginatiivi antaa nopean perehdytyksen nousussa tai laskussa oleviin ”prakkeihin” tai muutoin ajankohtaisiin DYI-taiteen ilmiöihin. Näissä audiovisuaalisissa esityksissä äänellä ja musiikilla on usein erityinen rooli. Aiheena voi olla vaikkapa JBL-kaiuttimien ”unboxaus” eli juuri kotiin kannetun laitteen avaaminen kääreistään tai erilaisten vahvistinlaitteiden ominaisuuksien kokeileminen ja esitteleminen.

Suurimpia ilon aiheuttaja videon katsojalle ovat värinä ja tärinä, joita matalat taajuudet saavat aikaan. Vastaavaa some-innostusta herätti jonkin aikaa sitten beatboxaaminen Sirin kanssa, joka on saatu mukaan yhteismusisointiin potenssilaskun avulla. (ks. https://www.youtube.com/watch?v=rSqbgLnDU6k)

Nämä episodit jäävät kuitenkin monilta huomaamatta sosiaalisen median ärsykevirrassa. Tämä ei ole yllättävää, sillä länsimaissa on monisatavuotinen perinne hahmottaa ääntä ja musiikkia ensi sijassa teoksina tai kappaleina ja usein vielä joko ”hyvinä” tai ”huonoina” sellaisina. Vakiintuneiden käsitysten mukaan esimerkiksi kuvat voivat välittää monenlaista informaatiota, kun taas äänen ja ihmisen välinen suhde näyttäytyy useimmiten eteerisenä, arjesta erillisenä olevana ja autonomisen taiteen alueelle kuuluvana. Tämän seurauksena musiikkimausta on tullut lähes ainoa tapa hahmottaa ja sanallistaa musiikkia.

Esteettinen tulkintakehys – niin merkityksellinen ja vaikutusvaltainen kuin se onkin musiikista puhuttaessa – sulkee helposti ulkopuolelleen sen tosiasian, että kuuloaisti ja äänen tuottaminen ovat ihmisen moniaistista (multimodaalista) ja samalla kehollista toimintaa. Toisin sanoen musiikki ja ääni operoivat monin eri tavoin arjen käytännöissä ja kokemuksissa. Siri-esimerkin näkökulmasta tämä voidaan ymmärtää niin, että pontenssilasku ei paperille kirjoitettuna sinällään innoita laulamaan, mutta tekoälyn hokema nollajono tarjoaa jo enemmän kehollista vastetta: rytmistä vaihtelua ja mahdollisuuksia tuottaa erilaisia äänenvärejä vaikkapa hiphopin konventioiden hengessä. Vastaavat keholliset kokemukset näyttävät olevan myös subwooferin testaajan motivaation lähde.

Sosiaalisen median arkikäytön havainnointi herättää henkiin mediafilosofi Marshall McLuhanin ajatuksen, jonka mukaan mediateknologioiden tehtävä on jatkaa aistien tehtävää. Kuitenkaan emme edelleenkään kovin paljoa tiedä – tai osaa ajatella – mitä tapahtuu, kun pitkään erillisiksi kategorioiksi mielletyt mediumit, tekstit, kuvat ja äänet, toimivat yhdessä. Mitkä ovat multimodaalisen toiminnan tavat, sen sisältämät erilaiset materiaaliset ja symboliset maailmat tai mikä on esimerkiksi äänen rooli – sen kaikkine mahdollisine ominaisuuksineen – tässä toiminnassa?

Kotioloissa tapahtunut esiteinin havainnointi tuotti kaksi ajatteluketjua. Yhtäältä subwooferin kanssa puuhastelussa tai ”unboxauksessa” on mukana sosiaalisen median prosumerismi ja huomiotalous: keholliset värinät ja tärinät tulevat YouTube-esityksissä osaksi performatiivista kuluttamista. Toinen aistimateriaalisen median horisontti johti puolestaan ihmiskunnan alkuhämäriin, kokeilemisen ja käsillä tekemisen maailmaan: kotiin hankitulle JBL-kaiuttimelle askarreltiin kuoret vanhasta kenkälaatikosta ja kertakäyttölautasesta. Päälle kirjoitettiin alan merkittävän laitevalmistajan nimi. Seuranneessa kokeissa ääniaallon voimaa koeteltiin lyijykyniin, kumeihin ja koiran nappuloihin asettamalla ne kertakäyttölautasen päälle pomppimaan. Ominaisuuksiltaan kaikkein kiinnostavimpia olivat viimeksi mainitut.

 

Mukaansatempaava Resonanssi

ENGLISH INTRO: This years Resonanssi – the eighth of its kind – gathered up professionals and students from the audiovisual field to Mediapolis. Two days of presentations, lectures, demonstrations and screenings tackled the phenomenon of  sonic immersion. Ari Koivumäki reports.

Ari Koivumäki on mediatuotannon yliopettaja Tampereen Ammattikorkeakoulussa.

 

 

Osallistuin kahdeksanteen Resonanssi – kun ääni kohtaa kuvan -tapahtumaan marraskuun alussa Mediapoliksella. Aiheen tällä kertaa immersiivinen audio, paikalla puolensataa äänialan ammattilaista ja opiskelijaa ammattikorkeakouluista ja yliopistoista. Luennoitsijoita oli yhdeksän kahden päivän aikana, perjantaina vielä elokuvaesitys ja illanvietto. Teema yhdisti esitykset mukavasti, mutta olihan siinä kuunneltavaa.

Minua on pitkään harmistuttanut ja ärsyttänytkin käsitteiden epämääräinen käyttö. ”Immersiivinen” on tämän listan kärjessä. Haluan käyttää kieltä, joka on yksiselitteisesti tulkittavissa ja viestittävissä. Ymmärrän hyvin, ettei kaikkia ilmauksia tai käsitteitäkään voi kääntää suoraan suomen kielelle, mutta silloin pitäisi kiertää ongelma käyttämällä joko useampia sanoja tai kuvaavampia ilmauksia. Ajatusten välittäminen toisille on vaikeaa, epämääräisyys haittaa viestin perille menoa ja väärinkäsityksiä on ikävä korjata jälkeenpäin. Pelkäsin että teemaksi valittu ”immersiivisyys” lastataan toiveilla ja unelmilla ”paremmasta äänimaailmasta” sen kummemmin perustelematta. Turhaan pelkäsin.

Catarina Mendonca, kognitiotieteilijä Aalto-yliopistosta aloitti tapahtuman kertomalla tutkimuksistaan äänen havaitsemisesta tilassa. Hän esitti mielenkiintoisia seikkoja kuulon ja näön kytkeytymisestä, valikoivasta tarkkaavaisuudesta ja siitä, miten epävarmat havainnot vahvistuvat enemmän kuin selkeät ensimmäisten 80 millisekunnin aikana. Ilmeisesti kuuntelija yrittää hakea kuulemalleen merkitystä tämän epävarmuusikkunan aikana ja ellei sitä löydä, asenne herpaantuu. Mitä kiinnostuneempi hän on kuulemastaan, sitä enemmän ja tarkemmin hän kuuntelee. Keskittyminen ratkaisee sisällön! Mikä siis on immersion ja keskittymisen suhde?

Seuraavaksi esiteltiin 360-tallenteen äänisuunnittelua. Tipi Tuovinen on monikanavaisen äänen edelläkävijä ja tallentanut monen sinfoniaorkesterin esityksiä 5.1 järjestelmällä toistettavaksi. Media-alan opiskelijan Mark Malyshevin kanssa he kertoivat Muumimuseon avajaisiin liittyvän gaalakonsertin äänityksestä ja yhdistämisestä kolmen Nokian OZO-kameran 360-kuvaan. Tehtävä oli mittasuhteiltaan haastava: 240 ääniraitaa, joilla luotiin kolme äänikenttää. Suurimpia ongelmia oli ajastaa eli vaiheistaa eri etäisyydellä olevat mikrofonit kulloinkin katsottavaksi valitun 360 kameran ja päämikrofoniasetelman mukaan. Heidän kokemuksensa mukaan väärä vaiheistus tuhoaa helposti immersion eli tilavaikutelman. Aihe on kiehtovan haastava: mitä yleisö haluaa kuulla tällaisen kolmiulotteisen tekniikan avulla? Yleisö on tottunut kuulemaan orkesterin soinnin omalta kohdaltaan konserttisalin akustiikan muokkaamana – äänilähteen edestä, eikä sen keskeltä. Peliäänen suhteen tilanne on toinen. Pelaaja on tottunut olemaan tapahtumien keskellä, eikä ehkä vierasta sijaintiaan edes orkesterisoittajien ympäröimänä.

Video: 360-kamerataltiointia Tampere-talolta.

Jussi-palkinnon Bodom-elokuvan äänisuunnittelusta saanut Panu Riikonen esitteli Dolby Atmos -toistojärjestelmän edellyttämiä ratkaisuja: miten hallita 200:aa ääniraitaa? Atmos antaa Panun mukaan tilaa sijoittaa ääniä teatterisalissa, mutta käytännössä valkokangas keskittää suunnan eteen eli huomiota ei voi siirtää pois kuvasta esimerkiksi yllättävillä takaa kuuluvilla äänillä, jotka yllyttäisivät kääntymään. Erilaisiin kerroksiin perustuva toistojärjestelmä hyödyttää toiminnallisia kohtauksia, mutta on Panun kokemusten mukaan vaikeasti skaalautuva eri kokoisiin kuuntelutiloihin ja raskas miksattava, jotta siitä saisi esteettistä lisäarvoa. Bodom on tyyliltään ”teini-slasher”. En siis kokenut yhtään olevani elokuvan kohderyhmää, mutta äänisuunnittelu vakuutti.

Lauantain aloitti peliäänisuunnittelija Ville Sorsa Remedyltä. Jos edelliset esimerkit monikanavaisen tilan luomiseen tarvittavista ääniraidoista tuntuivat paljolta, Quantum Break -peliin verrattuna ne eivät pärjää. Ville osallistui sen äänisuunnitteluun viiden vuoden ajan, ja lopputuloksessa on 11 000 repliikkiä ja 25 000 äänitehostetta. Tämä vastaa seitsemän elokuvan materiaalimäärää! Kolmiulotteinen äänimaisema luotiin Ambisonics-formaatilla, jota voidaan toistaa erilaisilla järjestelmillä, jopa monofonisena. Pelaamisen aktiivisuus vaikuttaa kuuntelukokemukseen: tilaan uppoutuu helpommin, kun tapahtumat tempaavat mukaansa. Immersio syntyy tässäkin keskittymisestä. Villen mukaan sen voi rikkoa, ellei kuva- ja äänimaailma vaikuta yhtenäiseltä tai jos toiminta on epäloogista äänimaailman suhteen, mikäli merkityksellisiä ääniä puuttuu tai tila kuulostaa oudolta (esimerkiksi elleivät materiaalien äänet sovi toisiinsa, kuten vaikkapa askeleet jollakin pinnalla, jonka kuulija tunnistaa ja kokee virheeksi). Pelaajan on koettava olevansa keinotekoisen maailman sisällä uskottavalla tavalla voidakseen sitoutua pelaamiseen ja unohtaa sen hetkinen ympäristönsä. Alla olevasta kuvasta näkee millä tahdilla pelin jännite aaltoilee ja huippukohtia viljellään.

Kuva: Quantum Break highlights. Valokuva: Ari Koivumäki.

Seuraava puhuja, Janne Auvinen, on pitkän linjan teatteriäänisuunnittelija. Hänen mukaansa kaikki ääni teatterissa on immersiivistä eli tilassa soivaa ääntä. Äänen toistaminen katsomoon siten, että kaikki kuulisivat esityksen samalla tavalla, on vaikeata tuottaa hallitusti. Puheen ja musiikin yhdistäminen ei ole helppoa, sanoista on saatava tolkkua. Yleisö yrittää päästä näyttelijän ”pään sisään” – ellei puheesta saa selvää, kuulija ärsyyntyy. Sähköinen vahvistaminen edellyttää laadukkaan toistojärjestelmän, joka tukee esitystä. Haasteena on yleisön ja laitteistojen aiheuttama pohjamelu, joka peittää alleen hienovireisen äänimaiseman ja täten vaikeuttaa sen luomista.

Riitta Rainio kertoi ääniarkeologiasta. Ensimmäinen esimerkki oli Gotlannissa sijaitsevan kivikautisen asujaimiston ääniympäristön rekonstruointi. Riitta esitteli ääniä, jotka ovat peräisin alueen luonnosta, maaperästä ja eläimistä, sekä 3200–2300 eaa. tuotetusta esineistöstä, kuten työkaluista ja soittimista. Toisena aiheena hän tarkasteli suomalaisten esihistoriallisten pyhien paikkojen akustiikkaa eli arkeoakustiikkaa. Tästä kannattaa lukea artikkeli Muuttuvat suomalaiset äänimaisemat -julkaisun sivuilta.

Tapahtuman lopuksi Päivi Takala veti ansiokkaasti yhteen Resonanssin teeman. Äänen ja musiikin merkitykset ovat perinteisesti olleet hankalasti sanallistettavia, mutta erityisesti peliteollisuuden myötä uusia käsitteitä on kehitetty. Immersio on tästä hyvä esimerkki, jonka Päivi määritteli muistiinpanojeni mukaan näin: ”syventynyt kokemus, kokemuksellinen vuorovaikutus, jonka kokija on esityksen keskipisteessä. Aistimisen ja kokemisen tila.” Hän yhdisti immersion hyvin myös omaan tutkimukseensa äänen tuntoisuudesta.