Immersieve journalistiek wordt nog steeds vaak virtual reality journalistiek genoemd. Na bijna een jaar onderzoek door JournalismLab (en een conceptueel model en inhoudsanalyse van 190 immersieve producties verder) blijkt dat immersieve journalistiek uit veel meer bestaat dan virtual reality. De virtuele technologie, interactie en het narratief spelen een grote rol in immersiviteit, maar audio is minstens zo belangrijk.
Dat audio een grote rol speelt blijkt niet alleen in deze nieuwe vorm van storytelling, immersieve journalistiek, maar ook uit de grote populariteit van podcasts, Blendle audio, en de opkomst van Google home. Audio kan interessant zijn omdat het de luisteraar tegelijkertijd andere dingen kan doen. Maar ook omdat de fysieke technologie snel onzichtbaar wordt; het verdwijnt van ons bewustzijn en de media worden deel van ons leven.
Dit is precies waarom het ook interessant is in immersieve journalistiek. Bij immersieve journalistiek gaat het erom dat de nieuwsgebruiker het idee heeft daadwerkelijk aanwezig te zijn bij de nieuws gebeurtenis. Dit is het gevoel van ‘presence’: een gevoel aanwezig te zijn in een virtuele omgeving, of mentaal ondergedompeld te zijn, waar de technologie en externe fysieke wereld verdwijnt van de gebruikers’ bewustzijn.
Geluid voor een realistischere ervaring van het nieuws
Audio kan op veel manieren de ervaring ‘waarachtiger’ laten lijken. Achtergrondgeluiden geven de sfeer van de omgeving neer en achtergrondmuziek kan spanning of emoties oproepen. Het geluid kan ervoor zorgen dat de gebruiker een rol speelt in het verhaal, in plaats van als toeschouwer naar de omgeving kijkt. Bijvoorbeeld doordat karakters tegen jou praten, of doordat je de gedachten van het personage dat jij speelt volgt. Ook kan de ervaring van de gebruiker anders zijn wanneer de verteller niet zichtbaar is in het verhaal (voice-over), versus wanneer de verteller juist wel zichtbaar is. Bekijk hieronder een voorbeeld waarin je bevindt in het hoofd van de autistische Laylah. Als gebruiker volg je de gedachten van Laylah, en de andere karakters praten direct tegen de ‘gebruiker’.
The Party, van The Guardian.
Hoe zet je audio in?
De resultaten van onze inhoudsanalyse laten zien dat vrijwel iedere immersieve productie gebruik maakt van beeld en audio (respectievelijk, 100% en 98,4%). Hiervan gebruikt meer dan de helft van de producties drie of meer soorten geluid. Het meest gebruikte soort audio zijn achtergrondgeluiden (87,3%), gevolgd door vertelling door personen die voorkomen in het verhaal (63,5%) – in tegenstelling tot een voice-over (32,8%), en als derde achtergrondmuziek (55%).
Niet alleen het soort audio is van belang, ook de kwaliteit van de audio is belangrijk. Nog weinig journalistieke producties maken gebruiken gebruik van spatial audio waarbij het geluid in 360 graden om de gebruiker heen klinkt. Spatial audio geeft geluid weer zoals wij het in het echte leven horen, niet alleen links of rechts, maar ook voor, achter, boven of onder ons, en dichtbij of ver weg. Spatial audio lijkt dus meer op hoe wat we horen in het echt, en kan de luisteraar meer onderdompelen in het verhaal dan standaard audio. Echter gebruikt maar drie procent van de producties in onze steekproef spatial audio.
Wat kunnen we leren van andere media?
Een aantal grote nieuwsmedia experimenteren wel al veel met spatial audio, zoals de BBC en Al Jazeera. De BBC heeft het toegepast in The Turning Forest, geen journalistiek verhaal maar een sprookje, geleid door geluid. Met hun ervaringen hebben ze een gids voor spatial sound geschreven.
‘Don’t use spatial audio for its own sake. Ask how it will improve the storytelling.’ – BBC
De voornaamste lessen van de BBC over spatial audio:
- Vraag je van te voren af hoe het je verhaal verbetert
- Oefen veel
- Zorg ervoor dat de bron van het geluid overeenkomt met wat de kijker kan zien
- Pas het consistent toe in de gehele productie
- Combineer geen verschillende microfoons
- Zorg ervoor dat u het geluid verandert terwijl de bron dichterbij of verder van de camera komt
Al Jazeera’s immersieve media studio, Contrast, heeft spatial audio toegepast in hun journalistieke productie The Curse of Palm Oil, om volgens een van de makers ‘een krachtigere, immersievere ervaring neer te zetten’. De maker van die productie stelt terecht dat zowel audio als virtual reality ontzettend immersief zijn op zichzelf, maar hoe kunnen ze elkaar aanvullen?
In The Curse of Palm Oil creëerden ze twee verhaallijnen, een met audio, en de andere met 360graden video. Dit zorgde volgens de makers voor een andere laag van spanning in de productie, doordat audio was gebruikt om het plot weer te geven, contrasterend aan het visuele verhaal.
‘The contrast between the storyline of the visuals with that of the audio can create a more nuanced and layered narrative.” – Viktorija Mickute, Constrast producer
De voornaamste lessen van Contrast over het gebruik van spatial audio:
- Het is vrij lowtech, draagbaar en niet duur in vergelijking met andere media
- Het is onopvallend en intiem: het zal geïnterviewden minder afschrikken dan een camera
- Het is de oudste vorm van communicatie, en daarom intuïtief voor mensen om voor te gaan zitten
- Je moet geluid vastleggen dat je naar een specifieke locatie transporteert
- Je hebt goede ‘praters’ nodig
- Je hebt een helder, mooi geschreven narratief nodig
- Audio kan de gebruiker door de virtuele wereld leiden
- Audio kan een karakter in het verhaal worden
Zowel de BBC als Contrast zien audio als een sterke component om gebruikers naar een ‘andere’ wereld te verplaatsen. Het belang van audio in immersieve ervaringen wordt, vooral bij de makers, steeds duidelijker. Ze zien audio als een krachtige manier om een realistischere ervaring neer te zetten. Om, zoals Contrast zegt, ‘not to only tell a good story, but the best story.’
NB: we hebben The Curse of Palm Oil niet kunnen meenemen in de inhoudsanalyse omdat het na de dataverzameling gepubliceerd werd.
