In Case of Emotions – en summering

Nedan följer en sammanfattning av de tre In Case of Emotions-experiment som utfördes inom ramen för detta projekt under 2013.

Text: Eva Wendelboe Kuczynski, scenograf och projektmedarbetare

Som en del af Interregprojektet Musikalsk oplevelsesdesign har Det Kongelige Teater og Medea i samarbejde undersøgt, hvorvidt man kan tilføre teatrets Music2Go koncerter et ekstra lag af publikumsinteraktion ved brug af ny teknologi.

Efter et koncentreret udviklingsforløb er man kommet frem til et koncept – In Case of Emotions (ICOE) – der inddrager publikum i skabelsen af koncertoplevelsen. Dette sker ved brug af mobiltelefoner som interaktivt kommunikationsværktøj og lyskilde, der udsender farvet lys. Konceptet er inspireret af tidligere tiders interaktionsformer mellem publikum og performance. Her tænkes på roser, der kastes på scenen som anerkendelse i det romerske teater og under tyrefægtning i Spanien. Og publikum som svarede på replikker i det antikke græske teater og i moderne performance teater.

Konceptet tilbydes publikum som en mulighed. Det er en ”add-on” til koncerten og kan ideelt være aktiv under hele eller dele af koncerten.

App’en
Ved brug af web-app’en icoe.dk kan publikum indstille deres smartphones til at udsende en bestemt farve lys og samtidig sende et ’feed’ til en dataregistrering og visualisering. App’en er ultra simpel. En farve fylder brugerens skærm. Vil man ændre farve på skærmen trækkes en anden farve ind. Se eksempel herunder.

In Case of Emotions – flyer

App’ens farver kan lades med symbolsk betydning. Eksempelvis rød for kærlighed, blå for sindsro og harmoni, gul for aktivitet og fremdrift eller andre betydninger. Man vil med valg af farven på sin mobilskærm bl.a. kunne kommunikere hvilken følelsestilstand musikken vækker hos én.

Backend systemet på icoe.dk opsamler alle valg/feeds og visualiserer de indsamlede resultater i en graf. Vha. grafen kan det nu aflæses, hvilken sindsstemning forsamlingen er i – rød, blå eller gul .

På Det Kongelige Teater er grafen brugt som ”visuel guide” for lysmanden, der justerer lyssætningen i overensstemmelse med publikumsalens signaler. Der er siden blevet arbejdet på at visualisere data-outputtet på en anden måde. Her har man undersøgt, hvordan grafen og det visuelle output kan bruges som partitur for klassisk live musik.

ICOE er prototypet, afprøvet og videreudviklet i tre forskellige kontekster:

• Under Music2Go er ICOE brugt som publikums værktøj til at interagere med koncertens lyssætning.
• Under The Conference er ICOE brugt som måleinstrument og dataindsamling til skabelsen af et interaktivt kunstværk og partitur for en slagtøjs-koncert.
• Under Øresundskomiteens årskonference (Ø-tinget) er ICOE brugt som måleinstrument for Ø-tingets handlekraft. Resultaterne blev løbende indsamlet og visualiseret og afslutningsvis brugt som partitur for en musikalsk tolkning.

Hver prototype har tilført nye erfaringer med, hvordan et digitalt værktøj kan skabe interaktion med publikum under en klassisk koncert. Og hvordan live data-indsamling kan skabe et visuelt partitur, som siden kan tolkes til et musikalsk værk.

ICOE – Music2Go
Under det eksperimenterende koncert format Music2Go på Det Kgl. Teater er publikum opfordret til at bruge deres smartphones til at interagere med koncerten. Man vælger den farve på app’en, der repræsenterer den sindsstemning musikken bringer én i. Flertallet af valg, eksempelvis på gul, registreres i et system i app’en og fortæller lysmanden via en monitor, hvilken farve han skal skifte scenelyset til.

In Case of Emotions - Credit Mads Hobye CC:BY

In Case of Emotions – Bildcred: Mads Hobye CC:BY

Eksperimentet viste, at et klassisk koncertpublikum ikke er bange for at bruge deres smartphones til at interagere med koncerten. Dog foretrak ca. 50 % af de interagerende publikummer den analoge (reserveløsning) glovstick-løsning til at indikere deres farvestemning. ICOE systemet har ud over at skabe en anderledes interaktiv koncertoplevelse også kunne registrere publikums deltagelse ved at indsamle data på aktiviteten.

Läs mer: In Case of Emotions – preliminära resultat (7 maj 2013)

ICOE – The Conference
Under The Conference eksperimenterede ICOE med at tage set-uppet ud af den traditionelle koncert-kontekst – koncertsalen. Man undersøgte, hvorvidt indsamlingen af data under en given event kan skabe et musikalsk kunstværk relateret til sted, begivenhed og indhold.

Under The Conference målte ICOE ”the mood of the Conference”. Farverne fik hver en betydning: Rød=Excited, Blå=Anxious og Gul=Curious. Ved hjælp af disse indikatorer brugte konferencegæsterne app’en til at signalere, hvordan The Conference virkede på dem.

Data blev indsamlet over hele dagen for at danne partitur for en slagtøjskoncert senere på eftermiddagen. Data visualiseredes på et skærmbillede af farvede firkanter, der live indsamlede feeds fra gæsternes ”afstemning”. Dvs. når en gæst indsendte signal på rød, dukkede en rød firkant frem på skærmen som sidste brik i rækken af farvede firkanter. Effekten vakte stor begejstring blandt de interagerende gæster, der bidrog til live at skabe et visuelt kunstværk som forlæg for et musikalsk kunstværk.

Slagverkare på Mood of The Conference CC:BY Medea

Slagverkare på Mood of The Conference CC:BY Medea

Under selve slagtøjs-koncerten var der stor interesse for at interagere med live feeds, men publikum syntes at glemme, hvilke følelser de forskellige farver betød. Interaktionen blev snarere en leg med koncerten og en begejstring efter at ændre det musikalske flow via interaktionen.

Herunder er en oversigt over aktive brugere på ICOE under the Conference og ved koncerten kl.16.00. Total antal hits efter kl. 13:00 var ca. 2.200. Antal hits fordelt på tidspunkter: 13:00–16:00 (546 hits), 16:00–16:30 (1643 hits), 16:30 + (22 hits).

Antallet aktive brugere var ca. 180, der skiftede farve ca.12 gange pr. bruger. Der kan have været flere unikke brugere på ICOE.dk, men dem der ikke skiftede farve tælles ikke med.

Se en video från framträdandet på The Conference.

ICOE – Ø-tinget
Igen blev ICOE set-uppet sat ind i en anden sammenhæng end den klassiske koncert-kontekst. På Ø-tinget valgte man at bruge systemet aktivt under konferencens sessions for her at måle, hvor meget handlekraft forsamlingen af politikere udviste i forhold til de forskellige indlæg. De data, der indsamledes, blev visualiseret med en graf for hver af følgende parametre: Rød=jeg tager action, Gul=jeg deltager, Lilla= jeg afventer, Blå=jeg tvivler.

In Case of Emotions – repetition på Öresundstinget CC:BY Medea

In Case of Emotions – repetition på Öresundstinget CC:BY Medea

Grafen opdateredes live og viste et aftryk af dagens handlekraft. Som afrunding på målingerne (dataindsamlingen) afholdt man en foyer koncert med en klassisk trio. De tre klassiske musikere brugte grafmaterialet som partitur for tolkningen af et citat (indenfor den klassiske musik er et citat en sammenflettet melodi fra et andet stykke). Citatet blev tolket ud fra de fire dynamikker, forsamlingen kunne signalere.

Under Ø-tinget opstod der tekniske vanskeligheder med systemet hos programmøren. Dermed blev der arbejdet ’on site’ med at visualisere datastrømmene, hvilket resulterede i et grafisk udtryk/partitur som blev udviklet i samarbejde mellem musikerne og produktionsholdet på ICOE.

Dette viste, at det har stor betydning at have musikerne med i design processen. Det tætte samarbejde medvirkede bl.a. til:

1. At skabe ejerskab over ”instrumentet” hos musikerne
2. At lade musikernes praksis forme datapartiturets udtryk, så det bliver let at spille efter.

Grundet systemets tekniske fejl kunne der ikke arkiveres data på interaktionerne under Ø-tinget, men ICOE teamet har registreret at ca. halvdelen af deltagerne var aktive på platformen.

Se fler bilder från Ø-tinget.