In dit artikel gebruiken we de termen “immersive audio”, “immersief”, “ruimtelijke audio”, “3D-audio”, “spatiaal” en “spatial audio” door elkaar. Naar ons gevoel en op basis van onze ervaring, betekenen deze termen in wezen hetzelfde. Ze verwijzen allemaal naar technologieën en technieken die een driedimensionale geluidsbeleving creëren, waarbij geluiden lijken te komen uit verschillende richtingen en afstanden, om zo een zo realistisch mogelijke ervaring te bieden. Dit soort audio biedt een meeslepender luisterervaring, ongeacht de specifieke term die wordt gebruikt.
24–28 juni 2024, Ancienne Belgique – Brussel.
PXL-Music Research en DAE bundelen hun krachten om een immersief concert te organiseren met twee bands, waarbij we de grenzen verkennen van wat mogelijk is met game-technologie en hoe ver we kunnen gaan met onze immersieve audio-opstellingen. Hierbij wordt zowel gekeken naar audio in de context van live versterking via onze immersieve geluidsinstallatie als naar de mogelijkheden om dergelijke spektakels in de toekomst op te nemen. Tot slot slaan we de brug tussen beide en laten we audio en gametechnologie met elkaar communiceren.
Dit artikel richt zich specifiek op microfoontechnologie in de context van opname en versterking bij een immersief concert.
Immersieve microfoontechnologie bij een livemuziekconcert kan op twee manieren worden ingezet:
- Registratie of captatie: Het concert wordt vastgelegd met een 3D-microfoonopstelling, waarna de opname in de studio wordt gemixt, bijvoorbeeld in Dolby Atmos – een immersive audio formaat. Dit afgewerkte product kan vervolgens op een streamingplatform zoals Apple Music, Tidal of Amazon Music worden geplaatst. Een immersieve concertopname bestaat enerzijds uit alle individuele tracks en microfoons die worden vastgelegd, en anderzijds uit een immersieve microfoonopstelling die de ambiance en het 360-graden geluidsbeeld van het concert nauwkeurig vastlegt. Met deze 3D-array probeer je niet alleen het publiek en de ambiance te registreren, maar tijdens dit concert ook een gedeelte van het geluid dat via het 360° PA-systemen wordt weergegeven.
- Live versterking: Een andere mogelijkheid is het gebruik van geavanceerde spatiale microfoontechnologie om de instrumenten van de band tijdens het concert te versterken en zo een immersieve geluidsbeleving te creëren voor het publiek.
Het hoeft echter geen keuze tussen deze twee opties te zijn. Het ideale scenario combineert beide technologieën om tot het ultieme resultaat te komen. Dit is wat we dan ook hebben geprobeerd.
WITT en Pothamus – twee verschillende immersive cases:
Het concert van WITT, met frontvrouw Tine Theré, biedt een andere immersieve muziekbeleving dan dat van Pothamus. Tine kiest resoluut voor stem-layering, het stapelen van verschillende stemmen, om zo indrukwekkende immersieve koren te creëren via backing tracks en dit live aan te vullen met zes solo-zangers. Het construeren van een 3D-beleving vanaf de creatie van een song is een unicum en iets wat te weinig voorkomt.
Pothamus, een doom metal band, werkt vanuit een traditionelere muziekproductie met veelal stereo- en monobronmateriaal. Ze vertalen hun gedachtegoed en tracks naar een immersieve ervaring door bijvoorbeeld aangepaste microfoontechnologie te gebruiken.
Immersive microfoon technologie in fuctie van een concert captatie:
Als je immersieve muziek wilt opnemen, doe je dit meestal met het doel om de luisteraar naar de plaats van opname te transporteren. We zijn van nature immersieve wezens. In het Engels betekent ‘immersive’ ondergedompeld. Geluid komt van alle kanten in onze ruimtelijke, driedimensionale wereld: van voren, achteren, links, rechts, en boven en onder ons. Er is niets zo betoverend als tijdens een opname te worden meegenomen naar de werkelijke akoestiek en muziekbeleving van een concertzaal.
Dus, om een live concert van WITT of Pothamus in de AB in immersieve audio vast te leggen, gebruik je aangepaste microfoonopstellingen. Je wilt dat het publiek de atmosfeer voelt en de geluiden tot in detail ervaart.
Het idee achter de keuze tussen microfoonsetups kan veelerlij zijn. Maar ze zijn voor ons grotendeels op te delen in drie verschillende basisconcepten.
- Binaurale opname
Bij binauraal beluisteren van audio worden geluiden opgenomen met behulp van twee microfoons die zijn geplaatst op een manier die de positie en afstand van menselijke oren nabootst. Dit gebeurt vaak met een dummy-head of een kunsthoofd, waarin de microfoons zijn geplaatst op de positie van de gehoorgangen. Hierdoor wordt niet alleen de richting van het geluid vastgelegd, maar ook hoe het geluid wordt beïnvloed door de anatomie van het hoofd en de oren, zoals de manier waarop geluiden worden gefilterd en gedempt.
Bij het afspelen via een koptelefoon, kan de luisteraar hierdoor een zeer realistische, ruimtelijke geluidsweergave ervaren, waarbij het lijkt alsof geluiden vanuit verschillende richtingen en afstanden komen—zoals in de echte wereld.
Helaas zijn dergelijke opnames alleen afspeelbaar op koptelefoon. Maar ze gebeuren wel al heel lang en meestal met altijd dezelfde microfoon, de KU-100 van Neumann. Het is een benchmark test en geeft een goede vergelijking met andere technologieën.
- Niet-samenvallende microfoonopstelling
De tweede microfoonopstelling is een niet-samenvallende microfoonopstelling (non coincident). We kozen voor een aangepaste versie van de OCT-opstelling, een OCT look-alike die we hebben aangepast op basis van onze eigen bevindingen en noden.
OCT staat voor Optimized Cardioid Triangle en is geïntroduceerd door Theile en Wittek. Het betreft een opstelling van drie microfoons die op specifieke afstanden van elkaar staan. Later hebben anderen een variant gemaakt met twee extra microfoons achteraan om het immersieve effect te versterken.
Niet-samenvallende microfoonopstellingen zijn gericht op het laten overeenkomen van de microfoonplaatsing met de luidsprekeropstelling in een 3D-luisteromgeving. Systemen zoals Dolby Atmos, Auro 3D en Sony 360 hebben elk hun eigen specifieke luidsprekerconfiguraties, echter, de onderste laag van deze opstellingen volgt doorgaans een vergelijkbaar patroon, met luidsprekers die links, rechts, in het midden (center), en links en rechts achteraan zijn geplaatst. Volgens ons zijn dit de belangrijkste kanalen om vast te leggen. Voor een volledige immersieve luidsprekersetup zijn bovendien extra luidsprekers boven nodig ( zie artikel….)
Door de compacte ruimte van de AB Club, het lage plafond en ergonomische overwegingen, hebben we echter geen hoogtekanalen opgenomen in onze microfoonopstelling. In grotere zalen, zoals het Sportpaleis of de grote zaal van de AB, zou er voldoende ruimte en reden zijn om nog vier extra microfoons op hoogte te plaatsen.
Waarom kozen we voor OCT en niet voor andere niet-samenvallende microfoonopstellingen? Bij niet-samenvallende microfooncapsules lijken alle opstellingen enigszins op elkaar en ook het uiteindelijke auditief resultaat. Uit ervaring hebben we gemerkt dat het verschil tussen onze OCT-3D look-alike en andere methoden zoals de 2L-Cube, PCMA-3D, of Hamasaki Square niet significant is.
Opstelling:
De OCT is ontworpen om interkanaalcrosstalk te minimaliseren voor nauwkeurige lokalisatie van het frontale geluidsbeeld. In onze opstelling hebben we de frontale driehoek uitgevoerd met twee cardioïde microfoons (Schoeps MK4) en één omni-microfoon (Sennheiser MKH8020) in het midden. Oorspronkelijk werd de OCT ontwikkeld om cardioïde microfoons te gebruiken, maar uit onze experimenten blijkt dat het toevoegen van een omni-capsule in het midden het ruimtelijke aspect en de frequentieweergave aanzienlijk verbetert.
De keuze voor de twee supercardioïde microfoons (Schoeps MK 41) aan de linker- en rechterkant achteraan kwam eveneens voort uit experimenten. De supercardioïde microfoon bleek uitstekend in het minimaliseren van interkanaalcrosstalk en biedt dus een betere scheiding tussen de voor- en achterkant dan bij bijvoorbeeld een gewone cardioïde microfoon.
Voor de opname van de concerten van WITT en Pothamus gebruikten we de volgende 3D-array:
L = cardio Shoeps MK4
C = Omni Sennheiser MKH 8020
R = cardio Shoeps MK4
LS = Super cardio MK 41
RS = Super cardio MK41
- Samenvallende microfoontechnologie
De tegenhanger van niet-samenvallende microfoontechnologie is een coincident systeem of wel-samenvallende microfoontechnologie. Ambisonic is zo een technologie en een andere manier van opnemen en weergeven van een driedimensioneel geluid. Het is ontstaan in de jaren ‘60 en ‘70 en bedacht door de Engelse mathematicus Michael A. Gerzon en de fysicus Peter Fellgett. Ambisonics is een 3D-audiotechnologie die geluid vanuit alle richtingen vastlegt en reproduceert, waardoor er een immersive luisterervaring ontstaat. In tegenstelling tot traditionele stereo of surround sound, die zich richten op specifieke kanalen (zoals links, rechts, voor, achter), legt ambisonics het volledige geluidsveld vast als een bol. Dit betekent dat je geluiden niet alleen om je heen hoort, maar ook boven en onder je, wat het ideaal maakt voor toepassingen zoals VR, AR en immersive muziek. Als je deze microfoontechnologie wilt omzetten naar bijvoorbeeld Dolby Atmos, heb je een plugin nodig die de volledige geluidsomgeving vertaalt naar de specifieke kanalen van dat formaat. Het grote voordeel van Ambisonics is dat je het opgenomen geluid flexibel kunt manipuleren. Je neemt de geluidsruimte op in vorm van RAW-formaat (A-formaat), wat je achteraf kunt aanpassen. Zo kun je bijvoorbeeld specifieke delen van het geluidsbeeld, zoals de zijkanten of de achterzijde, versterken of aanpassen naar wens.
A-formaat:
Bij opname in Ambisonic kan je gebruik maken van soundfield microfoons. Dit zijn micro’s die opnemen in het A-formaat. Het A-formaat is het RAW-formaat wat onbewerkt uit de capsules van de micro komt.
Voor eerste-orde soundfield microfoons gebruiken we vier cardio capsules opgesteld in een tetraëder.
De eenvoudigste soundfield microfoons nemen op in de eerste-orde Ambisonic.
“Eerste orde” betekent inderdaad dat er ook hogere ordes bestaan, waarbij de ruimte nog verder wordt onderverdeeld, wat resulteert in meer gedetailleerde informatie. Hogere-orde Ambisonics vereisen een andere aanpak en werken volgens een wiskundig ander model dan dat van de eerste-orde Ambisonics. We hebben ze niet gebruikt voor deze opname en zijn in dit geval dus niet relevant.
First-order soundfield micro’s zijn bijvoorbeeld de RØDE’ NT-SF1 en de Sennheiser AMBEO VR. Voor onze opname in de AB gebruiken we de AMBEO VR.
B-formaat:
Het B-formaat wordt bekomen door de verschillende microfooncapsules zo op te tellen in een matrix (plugin) dat je het B-formaat krijgt met de componenten W, X, Y, Z.
W = LF + LB + RF + RB
X = LF − LB + RF − RB
Y = LF + LB − RF − RB
Z = LF − LB − RF + RB
Net zoals bij MS (mid-side technologie) werken we met een geluidsveldsynthese. We maken geen gebruik van kanaalgerichte overdrachtsmethode zoals bij Dolby Atmos of Auro-3D, maar verdelen de ruimte door middel van bi-directionele polaire-karakteristieken.
Bij Ambisonic in een eerste orde wordt de ruimte onderverdeeld in drie richtingen: van voor naar achter via een X-as, links naar rechts met een Y-as en boven naar onder door een Z-as.
Het proces heeft als doel om bij de luisteraar de geluidsrichting te reconstrueren.
Er is ook nog een vierde W-component, een bol van 360° of een omni-polaire karakteristiek.
Gevoeligheid:
De vier componenten W, X, Y en Z vormen samen het B-formaat, een tussenvorm van waaruit je verschillende andere polaire informatie kunt creëren. Door optelling van W met één van de X, Y, Z componenten kan de gevoeligheid van de assen worden gewijzigd zoals je hieronder kan zien. Tel een omni bij een bi-directionele microfoon en dan krijg je een cardio. Deze technologie gebruiken we ook bij andere microfoons om bepaalde polaire karateristieken te bekomen.
Richting:
Door de X, Y, Z assen op te tellen ten op zichten van elkaar kunnen we ook de draairichting veranderen.
Als we draairichting en de gevoeligheid zoals hierboven besproken combineren dan kan vanuit het B-formaat elke fysieke positionering in een bol worden bekomen door optelling en aftrekking van de verschillende componenten W, X, Y, Z.
Vertaling naar Immersive:
Als je Ambisonic-audio wilt vertalen naar Dolby Atmos of een ander multi-speakerformaat, moet je een plugin gebruiken of zelf aan de slag gaan met het optellen en aftrekken van de verschillende richtingscomponenten. Hierbij moet je specifieke componenten van het Ambisonic B-formaat omzetten naar de lay-out van een multi-speakeropstelling.
Om bijvoorbeeld de voorste linkerluidspreker aan te sturen, gebruik je de som:
W + X + Y
Voor de rechts achter luidspreker geldt:
W – X + Y
Op deze manier kun je alle verschillende posities creëren door middel van optelling en aftrekking van signalen. Optellen betekent het combineren van componenten, terwijl aftrekken inhoudt dat je twee componenten samenvoegt en één daarvan in tegenfase plaatst.
Er zijn vertaalplugins beschikbaar, zoals die van RøDE en dearVR, waarmee je het B-formaat kunt omzetten naar formaten zoals Dolby Atmos. Bij PXL Music Research ontwikkelen we ook een eigen plugin, die specifieke voordelen biedt voor immersieve mixing zowel live als in studio en aansluit bij ons eigen onderzoek. Tenslotte is natuurlijk ook mogelijk om via aux-bussen hetzelfde resultaat te bereiken, zowel live als in de DAW.
In de handleiding van de Josephson 700 microfoon vind je meer info.
Een voorlopige conclusie?
Waarom al die verschillende opstellingen? Voor ons is het duidelijk dat er een groot verschil is in klank en atmosfeer tussen samen- en niet-samenvallende microfoonopstellingen. Het testen en beluisteren van deze verschillende setups biedt ontzettend interessant studiemateriaal. Het is niet de bedoeling om hier een uitgesproken voorkeur te geven voor één van beide; de verschillen zijn duidelijk aanwezig. Bepaalde eigenschappen, zoals het meer coherente en compacte geluidsbeeld bij AMBEO, kunnen soms voordelen bieden, terwijl het weelderige, ruimtelijk meer uitgesproken karakter van de OCT veel mensen zal aanspreken. Zoals altijd is het belangrijk om zelf te experimenteren en de microfoon te beluisteren binnen de specifieke context. Wij merken vaak dat de rijke klank van een niet-coïncidente opstelling in eerste instantie tot de verbeelding spreekt, maar dat je pas een keuze kan maken als je de microfoon opstelling in zijn context beluisterd.
Een kanttekening hierbij is de footprint tijdens een opname en de snelheid van werken. Bij een ambisonische microfoon kun je, met de juiste voorbereiding, binnen 15 minuten operationeel zijn, wat bij niet-samenvallende microfoonopstellingen vrijwel onmogelijk is door de complexiteit van de microfoonsetup en zijn grootte die hij in beslag neemt.
Een Immersive Kit Microfoon
En dan tot slot, wat doe je als je een immersieve microfoonopstelling wilt gebruiken om een drumstel live te versterken, los van de individuele mono sources van de verschillende trommels?
We hebben met Ambisonic technologie geëxperimenteerd binnen een ander project van PXL-Music Research en kwamen zo op het idee om de componenten van het B-formaat, zoals hierboven beschreven in het Ambisonic gedeelte, te vervangen door hoogwaardige microfoons met dezelfde polaire karakteristieken. De X,Y,Z door bidirectionele en de W component door een omni. Vervolgens kunnen we dit, met behulp van de besproken plugins, vertalen naar een multi-luidsprekersysteem. Na testen met deze opstelling in de studio, kwamen we tot de conclusie dat deze aanpak ook goed zou kunnen werken als microfoonopstelling voor een live drumkit. De Z-component heeft een beperkte impact en is weinig controleerbaar. Daarom hebben we besloten om die niet te gebruiken tijdens het live concert. Het systeem van het B-formaat om te zetten naar daadwerkelijke microfoons is een experiment dat andere ons al voor deden, maar het gebruik tijdens een liveconcert is wel een unieke gebeurtenis.
Het grote voordeel van deze microfoonopstelling is dat je kwalitatief hoogwaardige microfoons kunt gebruiken, in plaats van de kleine electretcapsules die vaak in standaard ambisonic microfoons worden gebruikt. Daarnaast biedt deze opstelling de mogelijkheid tot manipulatie; tijdens de mix kun je verschillende keuzes maken, zoals het benadrukken van ruimtelijke informatie ten opzichte van frontale informatie.
Is dit experiment geslaagd? Tijdens het concert van Pothamus was de WXY-kitmicrofoon gedurende de hele live show actief, in meer of mindere mate. De overspraak tussen de verschillende instrumenten was beheersbaar, mede omdat de gitaarversterkers niet op het podium stonden. Het feit dat het optel- en aftrekwerk van het decoderen via aux-bussen in de mengtafel moest gebeuren en niet via een plugin, maakte alles echter vrij complex. Hierdoor waren bijvoorbeeld manipulaties tijdens het concert moeilijk, wat soms leidde tot het gevoel dat de overheads uit de achterste luidsprekers kwamen.
Voor de opname is deze kitmicrofoon natuurlijk een enorme aanwinst en versterkt het de live-ervaring aanzienlijk.
