VR heeft veel mogelijkheden, maar wat is de impact van geluid mixen voor VR? Wat heb ik nodig voor audio voor VR en hoe kan ik mixen met een VR-headset en mijn DAW in real-time? Daar probeert PXL-Music u hier een antwoord te geven.
De illusie van geluid
Wanneer we gaming buiten beschouwing laten, zijn de meeste geluidsproducties voor beeld nog steeds voor een video in 2 dimensies, die wordt afgespeeld op een scherm. Tijdens het mixen kijken we dan ook steeds naar dat scherm als referentie voor de auditieve ervaring.
Of je nu mixt in stereo, surround of immersive, zeker bij storytelling (films, series, documentaires, vlogs) zijn er heel wat conventies die bepalen welke onderdelen waar in de mix moeten zitten (zoals dat dialogen vooral in het midden zitten van het klankbeeld). Er zijn stijlkenmerken, die niet per se realistisch zijn, maar omdat we die al zodanig veel ervaren hebben aanvaarden we die en verwachten we ze zelfs impliciet. Als we een personage in een film zien stappen en niet duidelijk en (te) luid voetstappen horen, vinden we dat raar, ook al is dat in het echte leven vaak normaal.
Veel meer dan bij beeld creëer je met geluid een illusie, die in dit geval enkel het verlengde is van het 2-dimensionaal beeld. We beleven videomateriaal binnen een duidelijke context los van de realiteit: je ervaart vanop afstand beeld op een scherm en daar hoort geluid bij. Wanneer we dat beeld combineren met immersive audio, is het doel van die immersive audio dan ook vooral om ruimtelijkheid te stimuleren om zo de ervaring te verdiepen. Je wint vooral creatieve vrijheid in hoe je die ruimtelijkheid benadert en invult (binnen de regels van wat op beeld gebeurt), want er is een duidelijk onderscheid tussen een 2D-film met immersive audio en de realiteit.
VR en realisme
Dat verandert allemaal in een VR-omgeving. Bij VR heb je een 360-graden sferisch beeld nodig, waarvan de kijker slechts een stuk ziet. Je hoort tegelijkertijd wel alle geluiden rondom jou.
De kijker heeft plots de vrijheid om te bewegen en beeld en geluid passen zich daaraan aan. Dat vergroot de mogelijkheid om sterke immersieve ervaringen te beleven. Maar die ervaring ga je meteen wel meer associëren met de realiteit en minder in een aparte context los ervan, omdat de beleving persoonlijk en beïnvloedbaar is.
Het wordt nu veel belangrijker om te zorgen dat de illusie klopt, wat een extra uitdaging wordt bij geluid, waar we veel meer kunstmatig een omgeving creëren met sound design, foley, music. Als er een zichtbare geluidsbron rondom jou is in VR, moet het geluid exact van de plaats lijken te komen waar je die in het VR-beeld zit. Daar is ons brein heel gevoelig voor, en we bewegen ook vaak ons hoofd om de exacte positie van een geluid te kunnen detecteren. Dus plots moet alles kloppen.
Ambisonic en VR
Geluid voor VR gebruikt het ambisonic formaat, want ambisonic biedt voor het sferisch videobeeld een overeenkomstig een sferisch geluidsveld.
Om in ambisonic te werken in een geluidsproductie heb je wel een aantal dingen nodig:
- Ambisonic ondersteuning in je DAW: Avid Pro Tools, Steinberg Nuendo, Steinberg Cubase, Cockos Reaper en Ableton Live ondersteunen de verschillende ambisonic formaten. Enkel Apple Logic Pro heeft onvoldoende ondersteuning voor de verschillende ambisonic formaten.
- Plugins die je toestaan om te werken in ambisonic:
- Een panner om bronnen juist te kunnen positioneren in dat sferisch beeld van 360 graden.
- Een galm zodat je een 360 graden ruimte kan simuleren en bronnen in die ruimte kan plaatsen
- Een monitor: deze vormt het ambisonic geluidsveld om naar een (binaural) koptelefoonervaring, vaak met mogelijkheden tot headtracking en dergelijke.
- Er zijn nog andere tools waarvan het wel handig is om een ambisonic versie te hebben, zoals een limiter, een rotatieplugin, encoders en decoders tussen verschillende ambisonic formaten, …
Wanneer je met VR-video wil werken, zijn er nog extra onderdelen nodig:
- Een video player: vaak vind je varianten die een 2D versie van dat sferisch beeld gebruiken, maar eigenlijk heb je echt een video player nodig die met een VR-headset verbindt en gelinkt kan worden met de monitor plugin.
- Een VR-encoder: deze voegt de VR-video samen met het geëxporteerde ambisonic geluid tot 1 file die klaar is om aan te leveren. Je maakt ook altijd best een export zodat je kan verifiëren de combinatie van beeld en geluid zeker juist is.
- Een VR-bril, uiteraard.
- Een Windows computer: vele VR-headsets hebben geen software voor Mac en vaak steunen tools die VR ondersteunen op software zoals SteamVR, die momenteel niet meer ontwikkeld wordt voor Mac. Deze situatie is nog niet beduidend verbeterd sinds de release van de Apple Vision Pro headset.
Je wil als geluidstechnieker vermijden dat je moet starten met een 2D versie van het beeld op een scherm, waarvoor je dan een eerste geluidsmix maakt op een combinatie van luidsprekers en koptelefoon, die je dan exporteert en encodeert naar een videofile om dan te controleren met een VR-headset op koptelefoon. Het is heel moeilijk om correct in te schatten hoe je bronnen positioneert in 360 graden zonder VR-headset en heel vaak merk je meteen bij het opzetten van de VR-headset dat er veel verkeerd zit. Dan moet je corrigeren, opnieuw exporteren, controleren, enzovoort, en dat wil je vermijden.
Door de revolutie in VR van enkele jaren geleden is er veel software ontwikkeld. Helaas is momenteel veel van die software stopgezet en werken veel van de online te vinden oplossingen niet meer (er is geen Facebook 360 Spatial Workstation meer, de GoPro Video Player waarop Nuendo steunt voor VR video ook niet, …). Daarom zijn wij op zoek gegaan naar wat nu in 2023 werkt.
Oplossingen
NoiseMakers Ambi
NoiseMakers is een Frans audio software bedrijf dat vooral focust op ambisonic en binaural plugins. Binnen hun Ambi Bundle HD heb je een goeie basis om in ambisonic te kunnen starten. Ze zijn niet echt gekend als grote speler op vlak van ambisonic, maar uniek is dat zij een video player, Ambi Eyes, aanbieden die je kan linken met elke DAW (Pro Tools en Reaper zijn door ons getest) en tegelijk ook je VR-headset. Zo kan je de VR-bril tijdens het mixen in real-time gebruiken.
Ambi Eyes werkt als standalone applicatie op Windows of Mac, maar om in VR te werken moet je Windows gebruiken. Om de link met de VR-headset te maken steunt Ambi Eyes op de SteamVR software – die moet je ook apart installeren, naast natuurlijk de nodige software voor je VR-headset. Na die installaties kan je in Ambi Eyes een VR-video openen en zou je meteen met de VR-bril moeten kunnen rondkijken naar wat er in Ambi Eyes afspeelt.
Ambi Eyes speelt zelf geen audio af, maar synchroniseert met de audio in je DAW. Daarvoor moet je de Ambi Head HD plugin in je DAW-sessie gebruiken. Ambi Eyes en Ambi Head HD wisselen informatie namelijk uit:
- Via Ambi Head HD krijgt Ambi Eyes tijdcode toegestuurd zodat de video start en stopt wanneer jij dat doet in je DAW. Ambi Eyes gaat er wel vanuit dat je audio op 00:00:00:00 start en zal die tijdcode als startpunt van de video kiezen. Daar moet je rekening mee houden. (Een “start timecode” optie voor de video in Ambi Eyes is door ons aangevraagd bij NoiseMakers; ze bekijken dit momenteel.)
- Ambi Head HD krijgt headtracking informatie van Ambi Eyes en SteamVR en beweegt op basis daarvan het ambisonic geluidsveld mee, zodat het geluid de bewegingen van jouw hoofd correct volgt.
Werk je toch graag op Mac om te mixen, of heb je liefst een aparte computer enkel voor video? Geen probleem, Ambi Eyes kan ook via een netwerkverbinding synchroniseren met de Ambi Head HD plugin. Daarvoor moet Ambi Eyes enkel het lokaal IP-adres van de andere computer weten. Houd er rekening mee dat een netwerkverbinding voor latency zorgt en je in Ambi Head HD via de “Eyes sync” die vertraging moet corrigeren om synchroon te blijven. (Kijk trouwens best altijd na of je audio en video synchroon lopen, wat de omstandigheden ook zijn…)
Is het allemaal sync? Proficiat, nu kan je je koptelefoon en VR-bril opzetten en je hebt real-time VR-video die je DAW volgt. Heb je een VR-headset met ingebouwde koptelefoon? Als je enkel op 1 Windows machine werkt, kan je in de meeste DAW’s meteen de ingebouwde koptelefoon als output kiezen. Als je ook rekening houdt met de extra latency zijn er altijd wel manieren om complexere setups uit te werken, zoals bijvoorbeeld geluid uit Pro Tools op Mac uit te sturen naar de ingebouwde VR-koptelefoon aangesloten op Windows…
NoiseMakers Ambi Bundle HD kan je gratis als demo uitproberen, met de limitatie van dat het geluid soms wegvalt. Op deze manier kan je zonder verplichting testen of het Ambi systeem met jouw workflow werkt.
DearReality
DearReality biedt een veel grootschaliger systeem aan dan dat van NoiseMakers, waarbij de tools ook vaak voor meerdere doeleinden werken naast ambisonic, zoals immersive. dearVR biedt hoogkwalitatieve plugins met veel features aan, waarvan dearVR Monitor helpt met het monitoren van ambisonic en meer en dearVR Pro een panner aanbiedt. Met Spatial Connect bieden ze een VR-omgeving aan waarin je kan mixen in de VR-bril in plaats van hem af te moeten zetten om terug in je DAW verder te werken. Spatial Connect bevat ook een video-omgeving aan waarin je VR-video kan inladen en afspelen via je VR-headset.
Misschien heb je DearReality hun producten uitgeprobeerd op ons gebruikersgroepevent in de Stadsschouwburg in Antwerpen?
Nadelen zijn hier de prijs en het feit dat enkel Cubase, Reaper of Nuendo als DAW gebruikt kan worden met Spatial Connect. Andere DAW’s zoals Pro Tools zijn niet ondersteund, wat bij PXL-Music de software minder interessant maakt. We hopen alsnog de software in de toekomst te kunnen evalueren en zullen dan rapporteren wat onze bevindingen zijn.
Tot slot
Het is dus mogelijk om goed te werken als geluidstechnieker in VR, maar het vereist wat opzoekwerk en configuratie die we jullie via dit artikel hopelijk wat hebben kunnen besparen.
We zijn zeer benieuwd hoe de Apple Vision Pro gaat bijdragen aan de verdere evolutie en toepasbaarheid van VR-headsets en bijhorende software. Het lijkt ons logisch dat Apple naast de headset ook tools zal uitbrengen om het maken van content voor VR aanzienlijk te vergemakkelijken. Een grondige integratie ervan in Apple ecosysteem, zoals bijvoorbeeld integratie van VR in Logic Pro, lijken voor ons logische vooruitzichten. We hopen ook dat het gaat leiden een nieuwe innovatiegolf binnen VR en verbetering van de huidige, vaak omslachtige workflows.
