Vocal emotion perceptions on infant-directed singing

Photo: janeb13, Pixabay

Kaisa Perko works as a postdoctoral researcher in work and organizational psychology at the University of Tampere and is interested in research on emotions and interaction in all areas of life. She defended her doctoral thesis on leadership and employee well-being in 2017.

Human voice shows a wide range of emotional qualities that other individuals can decode. These vocal capabilities are utilized by artists and actors, as well as by all of us in everyday life, as we sing and talk and listen other people talking and singing. When hearing the voice of a familiar person, we immediately know something about the person’s emotional state without the person describing it in any word.

As have been done maybe for thousands of years, many people help their child to sleep by singing a soothing lullaby that invites the sleep to take over. In scientific studies, infant-directed singing is suggested to aid the child’s emotional regulation and support the developing relationship between the caregiver and the child. It should be acknowledged, though, that there is some unclarity about the additional value of singing as compared to happy-sounding talk or seeing happy faces. In any case, infants are interested to follow emotionally engaging presentations.

In recent years, the soothing and healing effects of music and parental singing have been investigated also in rather clinical environment, among hospitalized newborns in intensive care units. In this environment, building a safe relationship between the parents and the newborn deserves special attention. The results have been at least encouraging as physiological indicators showed that maternal singing indeed helped to stabilize the neonatal condition.

If the parents themselves suffer from difficult circumstances that disturb their emotional life, does this affect emotional features in their vocal presentations to the child? As a psychology researcher interested in emotions, I have had an opportunity to examine this question in Raija-Leena Punamäki’s research project on war-afflicted families and their newborns in the Gaza Strip area. In connection to other data gathering, women in the Gaza Strip were asked to sing to a lullaby or a children’s song to their infant. The women had been pregnant during the 2014 war in Gaza and at the time of singing their infants were 6-7 months old. Additionally, the mothers filled in psychological questionnaires on post-traumatic stress symptoms and postnal depression.

We were interested in the emotional messages in the singing voice of these women. This emotional reading task was performed with the help of a group of unfamiliar adults with the same cultural background as the singing mothers, and additionally a group of adults from a different culture. Psychology students from Gaza and from Finland listened to the short (30 s) song excerpts of the mothers, and gave their ratings on the extent to which the voice expressed fear, joy, sadness, anger, tension, playfulness, and love (tenderness). Specifically, we examined the extent to which emotions in the singing voice, as perceived by the student raters, relate to mental health of the mothers.

Although this endeavour was rather explorative, we were surprised by the results. The students’ ratings of vocal emotions were indeed related to maternal mental health, and even seemed to prospectively predict maternal psychological symptoms one year later. Interestingly, concerning the Finnish students’ emotion perceptions, particularly anger and tension were associated with maternal depression, and sadness with post-traumatic stress symptoms. In contrast, concerning Gazean students’ ratings, the strongest relationships to maternal symptoms were found with a lack of joy and a lack of love. Thus, the students from the same culture as the singing mothers seemed to be more sensitive to the lack of positive emotions, while the students from the different culture were best able to recognize negative emotions.

The results can be understood in the light of the meta-analytic findings demonstrating that in cross-cultural vocal emotion perceptions, there is an advantage for the perceivers that come from the same culture as the presenters of the vocal material. Whereas vocally expressed negative emotions, such as anger and sadness, are well-recognized across cultures, it seems that perceiving vocal happiness is more difficult for members of a different culture than the presenters. Interestingly, facial happiness is particularly well-recognized across cultures, so there seems to be differences in the facial and vocal cross-cultural emotion recognition.

In a recent article authored by Michael Kraus in the American Psychologist I found a concept of empathic accuracy, defined as the ability to judge the emotions, thoughts and feelings of other individuals. The results from a series of five studies suggest that voice-only communication enhances empathic accuracy. In other words, people might be better able to recognize emotions of another individual based on the other’s voice as compared to the other’s facial expressions or even a combination of voice and face. Although it is too early to draw firm conclusions on the order of face and voice in emotion recognition, I find it very interesting to explore how people make judgements about others and how empathically accurate their judgements are. In all, the role of voice is an intriguing one especially in our culture that puts a strong emphasis on the visual elements.

 

Beatboxaava Siri – sosiaalisen median ääniantropologiaa

Beatboxaaja HeartGrey, kuvakaappaus YouTube-videosta (alla).

ENGLISH INTRO: Music is a central part of the YouTube videos. In some cases, these performances are not musical performances in traditional sense, but music and sound are a part of everyday practices. Experiments can include, among others, “unboxing” of loudspeaker devices and testing their qualities. A few years ago an innovation, which attracted many was beatboxing with Siri; “ intelligent assistant” of Apple was involved in the music making with the help of the power decrease. In her blog post, Beatboxing with Siri – about Sound Anthropology of Social Media, Tarja Rautiainen-Keskustalo debates, how these examples highlight the multimodal nature of human action in the everyday life. The interplay of the senses is rarely observed, because in the Western world music is often considered as an autonomous area, which can be discussed solely through taste. However, social media, which integrates different mediums together, gives many reasons to think how the materiality of the senses is a part of social action.

***

Tarja Rautiainen-Keskustalo on musiikintutkimuksen professori Tampereen yliopistossa. Hän tutkii ääntä ja musiikkia osana arjen (ja juhlan) toimintaa.

 

 

Seurailen YouTubea usein varhaisteinin olan takaa. Diginatiivi antaa nopean perehdytyksen nousussa tai laskussa oleviin ”prakkeihin” tai muutoin ajankohtaisiin DYI-taiteen ilmiöihin. Näissä audiovisuaalisissa esityksissä äänellä ja musiikilla on usein erityinen rooli. Aiheena voi olla vaikkapa JBL-kaiuttimien ”unboxaus” eli juuri kotiin kannetun laitteen avaaminen kääreistään tai erilaisten vahvistinlaitteiden ominaisuuksien kokeileminen ja esitteleminen.

Suurimpia ilon aiheuttaja videon katsojalle ovat värinä ja tärinä, joita matalat taajuudet saavat aikaan. Vastaavaa some-innostusta herätti jonkin aikaa sitten beatboxaaminen Sirin kanssa, joka on saatu mukaan yhteismusisointiin potenssilaskun avulla. (ks. https://www.youtube.com/watch?v=rSqbgLnDU6k)

Nämä episodit jäävät kuitenkin monilta huomaamatta sosiaalisen median ärsykevirrassa. Tämä ei ole yllättävää, sillä länsimaissa on monisatavuotinen perinne hahmottaa ääntä ja musiikkia ensi sijassa teoksina tai kappaleina ja usein vielä joko ”hyvinä” tai ”huonoina” sellaisina. Vakiintuneiden käsitysten mukaan esimerkiksi kuvat voivat välittää monenlaista informaatiota, kun taas äänen ja ihmisen välinen suhde näyttäytyy useimmiten eteerisenä, arjesta erillisenä olevana ja autonomisen taiteen alueelle kuuluvana. Tämän seurauksena musiikkimausta on tullut lähes ainoa tapa hahmottaa ja sanallistaa musiikkia.

Esteettinen tulkintakehys – niin merkityksellinen ja vaikutusvaltainen kuin se onkin musiikista puhuttaessa – sulkee helposti ulkopuolelleen sen tosiasian, että kuuloaisti ja äänen tuottaminen ovat ihmisen moniaistista (multimodaalista) ja samalla kehollista toimintaa. Toisin sanoen musiikki ja ääni operoivat monin eri tavoin arjen käytännöissä ja kokemuksissa. Siri-esimerkin näkökulmasta tämä voidaan ymmärtää niin, että pontenssilasku ei paperille kirjoitettuna sinällään innoita laulamaan, mutta tekoälyn hokema nollajono tarjoaa jo enemmän kehollista vastetta: rytmistä vaihtelua ja mahdollisuuksia tuottaa erilaisia äänenvärejä vaikkapa hiphopin konventioiden hengessä. Vastaavat keholliset kokemukset näyttävät olevan myös subwooferin testaajan motivaation lähde.

Sosiaalisen median arkikäytön havainnointi herättää henkiin mediafilosofi Marshall McLuhanin ajatuksen, jonka mukaan mediateknologioiden tehtävä on jatkaa aistien tehtävää. Kuitenkaan emme edelleenkään kovin paljoa tiedä – tai osaa ajatella – mitä tapahtuu, kun pitkään erillisiksi kategorioiksi mielletyt mediumit, tekstit, kuvat ja äänet, toimivat yhdessä. Mitkä ovat multimodaalisen toiminnan tavat, sen sisältämät erilaiset materiaaliset ja symboliset maailmat tai mikä on esimerkiksi äänen rooli – sen kaikkine mahdollisine ominaisuuksineen – tässä toiminnassa?

Kotioloissa tapahtunut esiteinin havainnointi tuotti kaksi ajatteluketjua. Yhtäältä subwooferin kanssa puuhastelussa tai ”unboxauksessa” on mukana sosiaalisen median prosumerismi ja huomiotalous: keholliset värinät ja tärinät tulevat YouTube-esityksissä osaksi performatiivista kuluttamista. Toinen aistimateriaalisen median horisontti johti puolestaan ihmiskunnan alkuhämäriin, kokeilemisen ja käsillä tekemisen maailmaan: kotiin hankitulle JBL-kaiuttimelle askarreltiin kuoret vanhasta kenkälaatikosta ja kertakäyttölautasesta. Päälle kirjoitettiin alan merkittävän laitevalmistajan nimi. Seuranneessa kokeissa ääniaallon voimaa koeteltiin lyijykyniin, kumeihin ja koiran nappuloihin asettamalla ne kertakäyttölautasen päälle pomppimaan. Ominaisuuksiltaan kaikkein kiinnostavimpia olivat viimeksi mainitut.

 

Rytmiikan hienovaihtelut ja täydellisen grooven metsästys

Editor’s English intro: In his post about rhythmical precision and the hunt for the perfect groove, professor of physics Esa Räsänen introduces his study on the physics of drumming. It has long been known that musicians do not keep time with the precision of a metronome. Here he argues that in deviating from a perfectly precise beat, a professional drummer makes patterns in the timing and dynamics that have a particular mathematical form – a fractal. These fractal, long-range correlated deviations make music sound distinctly human. The work uses audio detection tools and time series analysis methods to come to these findings. Check out the references for more information in English, and enjoy the videos.

*** 

Esa Räsänen on Tampereen teknillisen yliopiston fysiikan professori, joka tutkii laskennallisesti kvantti-ilmiöitä, elektronirakenteita, kompleksisia järjestelmiä ja aikasarjoja. Hän soittaa harrastuksenaan rumpuja TUT Prof Experience -yhtyeessä.

 

Millainen musiikki saa pään nyökyttämään, sormet naputtamaan tai jalat kohti tanssilattiaa? Niin sanotun grooven eli musiikin imun kokemuksesta on tehty runsaasti tieteellistä tutkimusta. Yleisen määritelmän mukaan groove on ”subjektiivinen kokemus halusta liikkua rytmikkäästi musiikkia kuunneltaessa” [1].

Jos unohdetaan subjektiiviset tekijät, niin rytmiikan kannalta grooven kokemukseen vaikuttavat ainakin synkopaatio [2], yhteissoitto eli musiikillinen kommunikaatio [3] sekä rytmiikan hienovaihtelut [4,5]. Synkopaatiolla tarkoitetaan tahdin tiettyjen iskujen korostamista,esimerkiksi 4/4-rockin painotusta tahdin iskuilla 1 (bassorumpu) ja 3 (virvelirumpu). Tätä täydennetään 1/8-nuottien korostuksilla lukuisin eri variaatioin. Hienojakoisempi 1/16-tason synkopointi on keskeinen tekijä esimerkiksi funkissa ja soulissa. Bassorummun voimakkaan 1/16-synkopoinnin malliesimerkkinä mainittakoon Red Hot Chili Peppersin ”Suck My Kiss”.

Video: Red Hot Chili Peppers,”Suck My Kiss”.

Yhteissoitossa synkopoituja iskuja korostetaan entisestään ja niitä luodaan lisää. Grooven kannalta olennaista on rumpalin ja basistin yhteispeli sekä rytmisen jännitteen luominen – soiton tarkkuutta unohtamatta. Esimerkkinä yhteissoiton groovesta käy James Brownin ”Too Funky in Here”, jossa pelkistettyä rumpukomppia tukee muun orkesterin saumaton rytmikudoelma. Tämän kappaleen useimmissa liveversioissa rytminen jännite on (subjektiivisesti arvioituna) rikottu liian nopealla tempolla. Steely Danin ”Josie” on myös herkkä tempovalinnan suhteen, ja tässä Donald Fagen onkin tarinoiden mukaan ollut pakkomielteisen tarkka. Rytmisen jännitteen voi pilata myös liiallisella soittamisella. Diskomusiikin tuottajavelho Nile Rodgers kuvaa tätä osuvasti Chicin ”Le Freak”-kappaleen kitarariffin yhteydessä: ”It’s the stuff that you don’t hear that makes it funky” (ks. video alla). Tai yksinkertaisesti: Less is more.

Video: Niles Rodgers giggin tips, kohdasta 2:55 eteenpäin.

Palataan soiton tarkkuuteen. Kuvitellaan, että kuulet metronomin tasaisen nakutuksen ja tehtäväsi on samanaikaisesti naputtaa pöytää täsmälleen metronomin tahdissa. Vaikka suoriutuisit tehtävästä hyvin tai vaikka olisit ammattirumpali, niin teet väistämättä pieniä ”virheitä” eli poikkeamia metronomiin nähden. Vuonna 2011 julkaistussa tutkimuksessa [4] todettiin, että nämä yksittäiset poikkeamat ovat satunnaisia, mutta poikkeamien muodostaman jonon rakenne on samankaltainen eri mittakaavoissa. Vastaava fraktaalinen rakenne esiintyy myös mm. sydämen sykevälivaihteluissa [6] sekä tutummin kukkakaalissa, puiden oksistoissa ja Norjan rikkonaisessa rannikossa. Täsmällisemmin ilmaistuna ihmisen aikaansaamat rytmiset poikkeamat eivät ole valkoista kohinaa, vaan niissä on pitkän kantaman korrelaatioita.

Rytmipoikkeamien fraktaalinen rakenne on jo itsessään mielenkiintoinen tulos, mutta erityisen kiinnostava lisähavainto on se, että psykologisen kokeen mukaan tällaiset poikkeamat saavat musiikin kuulostamaan paremmalta [4]. Löydöksestä inspiroituneina aloimme selvittää rytmivaihteluita äänitetyssä musiikissa, mitä ei aiemmin ollut tutkittu juuri lainkaan – etenkään pitkän kantaman korrelaatioiden näkökulmasta. Valitsimme erityiseen tarkasteluun Michael McDonaldin kappaleen ”I Keep Forgettin’”, josta tutkimuskollegamme Tuomas Virtanen pystyi keräämään rumpalilegenda Jeff Porcaron hi-hat -iskut millisekunnin tarkkuudella. Aikasarja-analyysi paljasti, että iskujen poikkeamat todella skaalautuivat fraktaalisesti. Tosin lyhyillä, alle kahden tahdin aikaskaaloilla havaittiin sekä antikorrelaatioita että tulkinnan nyansseja. Lisätietoa tutkimuksestamme löytyy alkuperäisartikkelin [5] lisäksi mm. Science-lehden uutisesta, Nottinghamin yliopiston tekemästä Youtube-videosta sekä YLE Prisma Studion videoklipistä, jossa Otto Pulkkisen kanssa tutkimme jazz-rumpali Teppo Mäkysen soiton ”fraktaalisuutta”.

Video: YLE Prisma Studio 6.10.2016.

Yllä kuvattuja fraktaalisia poikkeamia ei luoda tietoisesti, vaan kyseessä on luonnollinen, toistaiseksi vielä selittämätön seuraus hermomotoriikan toiminnasta. Lisäksi yksittäiset poikkeamat eivät ole suoraan kuultavissa: Porcaron tapauksessa iskujen välisten intervallien keskihajonta on vain noin yhdeksän millisekuntia, eli soitto on äärimmäisen tarkkaa. Voidaan kuitenkin todeta fraktaalisen rytmivaihtelurakenteen vaikuttavan positiivisesti kuuntelukokemukseen. Lisäksi tutkimukset osoittavat, että kahden koehenkilön yhteissoitossa havaitaan fraktaalisten rytmipoikkeamien poikittaiskorrelaatioita [3]. Kokeen aikana soittajille syntyy subjektiivinen kokemus groovesta samalla hetkellä, kun poikittaiskorrelaatiot syntyvät hienovaihteluihin.

Loppuyhteenvetona todettakoon, että groove on moniulotteinen ja subjektiivinen käsite, jonka taustalla on myös kvantifioitavissa olevia tekijöitä kuten synkopointi, musiikillinen kommunikaatio sekä rytmipoikkeamien hienovaihtelut. Tutkimus hienovaihteluista on vasta alkuvaiheessa, eikä yllä mainittujen löydösten riippuvuutta esimerkiksi soittajasta, musiikkityylistä, tahtilajista ja temposta tunneta vielä juuri lainkaan. Aikasarja-analyytikoille riittää siis töitä ja hupia. Let’s groove!

Viitteet
[1] Ks. esim. G. Madison, Experiencing Groove Induced by Music: Consistency and Phenomenology, Music Perception 24, 201 (2006).
[2] G. Sioros et al., Syncopation creates the sensation of groove in synthesized music examples, Frontiers in Psychology 5, 1036 (2014).
[3] H. Hennig, Synchronization in human musical rhythms and mutually interacting complex systems, Proceedings of the National Academy of Sciences 111, 12974 (2014).
[4] H. Hennig et al., The Nature and Perception of Fluctuations in Human Musical Rhythms, PLOS ONE 6, e26457 (2011).
[5] E. Räsänen et al., Fluctuations of Hi-Hat Timing and Dynamics in a Virtuoso Drum Track of a Popular Music Recording, PLOS ONE 10, e0127902 (2015).
[6] Ks. esim. A. L. Goldberger et al., Proceedings of the National Academy of Sciences 99, 2466 (2002).