Everything is connected – entangled senses

syn og hørsel

Music is known as an efficient emotional trigger, but physiologically speaking our auditory senses has the potential for creating multi-sensory experiences and sometimes making it possible for us to accomplish seemingly impossible tasks.

Among the gastronomic diverse experiences on offer in Berlin you will find the restaurant Unsicht-Bar, a place where the guests dine in complete darkness served by blind waiters. The role as a food critic is not to be taken here (something which would incidentally leave the restaurant with little credit). The experience however has relevance for the theme of this blog which is listening, as it highlights the degree of interconnectedness existing between our different senses and how they might, often surprisingly, affect one another.

A sensory network

Our senses cooperate in a system of intricate coordination, the most common example is how the loss of one sense might strengthen another. It is for instance a well-known fact that blind people often have a particularly sharpened sense of hearing (something which makes them eminent piano tuners). However, there is another connection between hearing and seeing which is not equally well-known.

American teenager Ben Underwood lost his eyesight to cancer at an early age yet, as a teenager, were able to perform seemingly impossible tasks such as playing basketball, bicycling and zigzagging between parked cars on rollerblades.

In order to perform this Ben made use of human echolocation, a technique where sharp sounds such as tongue clicks or clapping is used to orient oneself. The technique of echolocation is also used by bats hunting in the dark and in the sonar technology of U-boats.


The sound waves from the clicks hits objects close by and reflects them back to the sender. But what is truly remarkable is that the reflected sounds are processed in what is normally the “visual” part of the brain, creating an internal “image” of the object. In other words: an experienced echolocator is actually “seeing” i.e. using the visual parts of his brain but without the eyes being the provider of the sensory input.

Many people, when listening to music, experience a sense of internal imaging triggered by associations to the music but the fact that our brain is able to “re-map” a more direct connection between auditory input and visual imagining is nevertheless quite extraordinary, as is the fact that the human brain is not dependent of the eyes in order to “see”.

You talkin´ to me?

There is however no need to lose a sense in order to experience how sight and hearing are interconnected. The restaurant in Berlin might be used to highlight another interesting connection between hearing and seeing. unsichtbar

The concept of the place worked like this: you order your food out in the bar, were given a designated waiter which then led you, Jenka- style, to your table. Here the food were served and digested, all in complete darkness before you were led back out into the bar and the awaiting bill.

The most interesting part of the experience (which might say something concerning the quality of the food served) was that even though my sense of hearing were sharpened in the pitch black dining hall what quickly became obvious was to what degree my sense of vision was normally aiding my hearing when it came to organising the received auditory information.

The ability to be able to see the origin of surrounding noises turned out to be quite important in arranging the auditory input into an understandable sensory experience. Without this help the surrounding noises quickly became an un-distinct mesh of sensory input, sort of like the difference between a two-dimensional and three-dimensional picture: to the brain everything was equally important and consequentially the result was confusion. (Added to this came the unpleasant experience of tentativly fumbling over a plate of uncertain content and the awareness that half of this content might indeed be outside of the plate or in my lap at the end of the meal without my knowing it).

What was lacking was in other words the ability to filter out the important parts of the surrounding auditory information, a task familiar to anyone who has ever tried to have a conversation with a friend while sitting in a cafe surrounded by the noise of clicking copy cops, background music, traffic and hissing steamers.

It is possible that a somewhat longer exposure would have changed the experience. Whatever the case: the novel sensory experience was worth the unpleasantness of the moment.

Changeable brains

Even though Ben Underwood is far from the only blind person making use of echolocation few have been able to match the ease with which he were able to navigate his surroundings. Using a technique called Functional Magnetic Resonance Imaging in which activity in the different areas of the brain are detected scientist were able to show that whereas the brain of an echolocation-expert showed significant activity in the brains “visual” areas when subjected to the reflected sound waves of clicking, a non-blind person subjected to the same sounds showed no activity in these areas. In other words: the connection between the different areas of the brain is due to something called neuroplasticity, an activity in which the brain essentially re-maps itself, creating new connections -and this takes time. Learning to echolocate is therefore not easily done. At the same time there is evidence that the connection between our different senses are initially rather tightly woven in all of us.

Colourful letters and sweet smelling pitches

Synesthesia is the name of a neurological phenomenon where stimulation of one sense (for example hearing) unwillingly triggers other senses creating uncontrollable parallel sensory experiences. The sight of a particular colour might trigger the experience of a taste, certain sounds might create the experience of particular smells and (the most usual variety) different numbers and letters (either spoken or written) are perceived in colours even though they might be written with black ink on white paper. Synaesthesia appears more often in children than in adults and tends to disappear as the child reaches adolescence (some scientists also claims that before the age of three months we are all colour-hearing synesthetes) but in some cases synaesthesia might linger on into adult age.

The musical world is full of synesthetes which with a varying degree of success has made use of this condition and allowed it to affect their music making and creativity. Among the great classical composers several have told of how certain pitches or chords triggers the experience of a certain colour. The Russian composer Alexander Scriabin made an attempt to convey his own inner experiences to the audience by composing works which were to be performed on specifically designed “colour-organ” where each tone simultaneously produced a beam of coloured light projected into the concert hall. Olivier Messiaen and Franz Liszt are among other classical composers who are known synesthetes but in the world of popular music we also find artists such as Duke Ellington and Elvin Jones who has described similar experiences. Scriabin-Color-Circle

Many synesthetes report that they consider this condition as an enriching part of their music making (indeed for many it initially came as a surprise that not everyone shared their experience.)This might not be so strange, after all: when considering a phenomenon like a contemporary rock concert it might seem that the goal is to create something similar to the synesthetes multi-sensory experience with the rock concert’s sensory onslaught of light show, sound, film and pyrotechnics. And this wish for multisensory stimulation is no new phenomenon either.

The multisensory listening experience

A central term from the time period known as Romanticism is the so-called “Gesamtkunstwerk” where the goal of the composer was to create an art-form in which all of the different art-forms were merged together into a single unity. Richard Wagner is considered as a composer who were consistently striving towards this goal. According to Wagner art had been in a pitifully fragmented state of being ever since its ancient Greek roots and he promptly set forth merging the different forms by revolutionising the opera genre. The result was, as we know, gigantic works in which the music no longer were seen as merely the means to convey text but where melody, chords, harmony and rhythm all were used as conveyors of meaning in themselves, and where the elements of drama and music were integrated in a completely new way.

The 4 operas known as the Ring cycle is one of the great achievements of this thought where every person and important object in the great 4-part saga has its own designated theme or sound-flavour making it possible to a certain extent to follow the story without understanding the text. In 2010 – 2012 at the famous Metropolitan Opera in New York City director Robert Lepage staged a spectacular rendering of the complete Ring cycle in which projected film, a gigantic movable scene -construction, music, colours and drama merged in a way that would make any synesthete nod which recognition. (The entire cycle is available on Blu-ray and is highly recommendable). Ringen boks

Even among the most ardent sceptic’s the staging was an immediate success. Could it be that all of us harbour deep inside an indistinctive longing towards the multi-sensory experience of the synesthete? Especially when considering that this most likely mirrors a way of experiencing the world which we all have had at an early infant age?

That is however not to say that more is always better: the earlier mentioned Alexander Scriabin (the one with the colour-organ) is also famous for having planned an enormous work. Stretching over seven days the intended work was to stimulate not only the visual- and auditory- but the olfactory-senses of the audience as well: at certain points in the score the audience were to be showered with different perfumes which would change according to the music. If the idea originated from a wish to recreate his own synesthetic experiences or merely were the result of a stroke of creative madness one cannot tell. As perfume has a tendency to linger one can only imagine the state of smell inside that concert Hall after only a couple of pages of music, let alone after a stretch of seven days.

Neurology versus perception

In addition to the amazing possibilities for cross connections hidden within our neurology we humans also possess the ability to willingly alter our perception to a certain extent: we have the possibility to mentally organise the auditory experiences we receive, allowing us to experience a work of music in numerous different ways.

Even though our neurological starting point might to a certain extent be given (most synesthetes have at least one relative sharing their condition so scientists strongly believe that genes are involved here) our ability to train our perceptional abilities when it comes to listening is not so limited. As the ability to change focus while listening to a large extent is dependent on knowledge and having listened a lot to music, subjecting oneself to new listening experiences is the first step towards a richer musical experience. In the Blu-ray box with Lepage’s staging of the Ring cycle a whole DVD is given to extra material where the listener is guided into the numerous quirky secrets and meanings hidden in the music; a fascinating roadmap into a complex and multisensory experience.


Everything is connected – sammenfiltrede sanseopplevelser

syn og hørselBlant Berlins mangefasetterte spisetilbud finner du restauranten Unsicht-Bar, et sted hvor gjestene sitter i stummende mørke og serveres av blinde kelnere.

Her skal jeg ikke gå inn i rollen som matkritiker (noe som heller ikke ville gavne restauranten noe videre) men opplevelsen satte i gang noen tanker rundt de forbindelsene som finnes mellom hørsel og syn. For det er interessant å oppleve på kroppen hvor sammenvevde sansene våre er og hvilke uventede relasjoner de kan stå i til hverandre.

Et nettverk av sanser

Sansene våre fungerer i et intrikat samarbeid; det vanligste eksemplet på det er hvordan tapet av én kan styrke en annen. Det er for eksempel et velkjent faktum at blinde ofte har en særdeles skjerpet hørsel, noe som også gjøre dem til eminente pianostemmere. Men tapet av synet gir ikke bare en generell økt styrke av hørselssansen. I visse tilfeller kan det også avsløre en forbindelse mellom hørsel og syn som de færreste er seg bevisst.

Den Amerikanske tenåringen Ben Underwood mistet tidlig begge øynene i kreft men var likevel i stand til å gjøre tilsynelatende umulige ting som å spille basketball, sykle og virre i sikksakk mellom parkerte biler på rolerblades. Han var i stand til dette ved å benytte seg av ekko-lokalisering, en teknikk hvor skarpe lyder som tungeklikk eller klapp brukes for å orientere seg. Lydbølgene fra klikkene treffer objekter i omgivelsene, reflekteres tilbake til senderens hørsel og videre til hjernens synsområde hvor det skapes et øyeblikksbilde. Teknikken er den samme som danner grunnlag for sonar-teknologien ombord i ubåter eller som benyttes av flaggermus som jakter i mørket.


Selv om syns-sanseorganene (les: øynene) til Ben ikke fungerte var altså synsområdet i hjernen fortsatt aktivt og skapte et indre bilde av omgivelsene som det var mulig for ham å forholde seg til. Veien til dette synssentret gikk via hørselen. Mange opplever ofte at å lytte til musikk kan skape mentale bilder men i tillegg til de rent assosiative bildene vi kan oppleve eksisterer det altså også en direkte fysiologiske forbindelse mellom lyd og “syns”-opplevelser. Det er vel forøvrig et fascinerende faktum at man faktisk ikke er avhengig av å ha øyne for å kunne “se”.

You talkin’ to me?

unsichtbarMan trenger imidlertid ikke å ha mistet en sans permanent for å erfare hvordan syn og hørsel er flettet sammen. Restaurantbesøket i Berlin kan brukes til å påpeke en annen interessant forbindelse mellom hørsel og syn.

Spisestedets konsept fungerte slik at man bestilte mat ute i baren og deretter fikk tildelt en kelner som ledet en inn i spisesalen, et stummende mørkt rom, i jenka-stil dog uten dansebevegelsene. Her servertes og fortærtes så måltidet i stummende mørke før man etter tre eller fire retter ble ledet ut igjen til baren.

Det mest interessante ved denne opplevelsen (noe som kanskje sier litt om nivået på maten) var at selv om hørselen ble skjerpet i den stummende mørke spisesalen ble det raskt tydelig hvilken viktig støtterolle synet spilte til hørselen i formingen av daglige lyd-opplevelser. Dét å kunne se opphavet til lyder og dermed også til en viss grad forutse dem gjør det mulig å sette alle de ulike lydene i et slags tredimensjonalt perspektiv – de relevante forrest og de mindre viktige bak i bevisstheten. Med andre ord nettopp den typen siling av lydinntrykk de fleste av oss benytter seg av ubevisst når vi sitter på en offentlig kafé og snakker med en venn. For hvis du sitter i et stupmørkt rom og noen slenger ut et spørsmål er det ikke alltid opplagt hvem det er rettet til hvis de ikke legger til navnet ditt på slutten.

I restaurantens stummende mørke fylt av et kakofoni av stemmer fra usynlige medgjester og kelnere og uten synet som tilgjengelig støttende sans opplevde jeg derimot at alle lydene snart gled sammen i et endimensjonalt teppe; støyende, forvirrende og en smule overveldende, spesielt famlende over en tallerken med ukjent innhold.

Det er mulig en lenger eksponering hadde endret opplevelsen. Uansett var erfaringen verdt ubehaget.

Fargerike bokstaver og velduftende toner

Forbindelsene mellom sansene våre kan altså inneholde muligheter for evner som kan hende ligger latent i oss alle eller som vi benytter oss av mer eller mindre ubevisst. Det er flere blinde enn Ben som benytter seg av ekkolokalisering selv om få gjør det med samme nonchalante og ungdommelige letthet som han hadde. Noen ganger kan derimot den nevrologiske linken mellom de ulike sansene våre være unormalt sterk, i den grad at den karakteriseres som et avvik, og gi seg interessante resultater.

Synestesi er navnet på et fenomen der stimulering av én sans, for eksempel hørsel, ufrivillig trigger andre sanser og skaper parallelle sanseopplevelser som ikke lar seg kontrollere: synet av en farge kan frembringe opplevelsen av en smak, bestemte lyder kan gi skape lukt-opplevelser og (den vanligste varianten) ulike tall og bokstaver sees i farger selv om de rent objektivt er skrevet i svart-hvitt. Det er fortsatt uklart hvorfor dette fenomenet oppstår hos enkelte men tilstanden karakteriseres snarere som et nevrologisk basert fenomen enn som en sykdom.













Alexander Scriabin og hans fargede toner

Musikkens verden er full av synestetikere som i ulik grad har benyttet seg av denne tilstanden og latt den påvirke sin musisering og sin kreativitet med varierende hell. Blant de store klassiske komponistene har flere stått frem og beskrevet tilstander hvor bestemte toner eller akkorder trigget en opplevelse av en bestemt farge. Den russiske komponisten Aleksandr Skrjabin forsøkte endog å gjenskape sine indre opplevelser for publikum og gikk så langt som til å komponere verk som skulle fremføres delvis på et “fargeorgel” hvor hver tone var et farget lys som skulle lyse opp konsertsalen. Olivier Messiaen og Franz Liszt er andre klassiske komponister som alle er kjente “synestetikere” men også artister som Duke Ellington og Elvin Jones har beskrevet lignende opplevelser hvor medspillere eller egne instrumenter oppleves simultant som farger eller teksturer.

I mange tilfeller er denne tilstanden en berikelse for den som har den og for enkelte synestetikere kan det sågar komme som en overraskelse at ikke alle andre opplever det samme i møte med musikk. Tross alt så kan det virke som vi i dagens store rockekonserter søker å skape noe av synestetikerens multi-sanselige total-opplevelse med en miks av lysshow, lyd, film og pyroteknikk. Og dette ønsket om å skape opplevelser som stimulerte flere sanser samtidig er heller ikke noe nytt fenomen.

Den multi-sanselige lytteropplevelsen

Et kjernebegrep i perioden som kalles Romantikken er “Gesamtkunstwerk” hvor målet til komponisten var å skape en form hvor alle de ulike kunstformene smeltet sammen til én helhet eller et all-kunstverk. Richard Wagner var den store fanebæreren her. Kunsten med stor K var, i følge Wagner, i en bedrøvelig fragmentert tilstand, noe den hadde vært siden antikken, og han satte i gang med å revolusjonere operasjangeren. Resultatet ble som vi vet, gigantiske verk hvor musikken ikke lenger skulle være et fremkomstmiddel for teksten men hvor melodier, akkorder, harmonier og rytmer ble brukt som et meningsbærende språk i seg selv og hvor drama og musikk ble integrert på en, for den tiden, helt ny måte.

Ringen-syklusen var den største realiseringen av denne tanken. I den spektakulære oppsetningen til Robert Lepage på The Met i 2010-2012 (forøvrig tilgjengelig på Blu-Ray så løp og kjøp!) forenes film, bevegelige scenekonstruksjoner, musikk, farger og drama i en helhet som ville få enhver synestetiker til å nikke gjenkjennende. Forestillingen gir oss nettopp en miks av lyd, lys og bilder som virker sjeldent stimulerende. Har vi kan hende alle en instinktiv lengsel etter synestetikerens automatisk fler-sanselige opplevelse?Ringen

Dog kan det muligens bli for mye av det gode: den tidligere nevnte Aleksandr Skrjabin (han med farge-orgelet, forøvrig også en romantiker) planla i sin tid et enormt syv dager langt verk hvor selv publikums luktesans skulle stimuleres med velvalgte parfymer som skulle skifte i tråd med musikken. Om dette var et forsøk på å gjenskape hans egne synestetiske opplevelser “in real life” eller bare et utslag av helt normal galskap er ikke godt å si. Siden lukt har en tendens til å henge igjen i klær og hår er det vel tvilsomt hvor vellykket opplevelsen hadde blitt.

Nevrologi versus persepsjon

Hørselen vår er med andre ord del av et nevrologisk sansekonglomerat mer underfundig enn vi ofte er klar over. I tillegg kommer mulighetene vi har til ulike persepsjonsmessige reaksjoner, altså den evnen hjernen vår har til å organisere de lydinntrykkene den mottar på en myriade av ulike måter som kan la oss oppleve et musikkverk på stadig nye måter.

Selv om det er ulike meninger om hva vi kan gjøre med det genetiske utgangspunktet vårt (de fleste synestetikere har gjerne minst én slektning som har samme tilstand så her mener man det er gener ute å går) er evnen til å trene opp persepsjonsevnen vår i forbindelse med lytting noe vi kan gjøre. Blue Ray – boksen med Lepage´s oppsetning av Ringen kommer forøvrig med en hel ekstramateriale – plate hvor du, av medlemmer av the Met´s orkester, ledes inn i musikkens mange underliggende betydninger og symboler, noe som garanterte vil skape nye spenstige forbindelser i hjernen ved neste gjennomhøring.

Artikkelen ble publisert i Audiophile.no 12.08.2014