Van Unwrap naar de AB Club
Het eerste immersive concert binnen het Virtual Music Experiences traject was op Unwrap 2023 met een showcase van WITT. Voor het eerste integreerden PXL-Music Research een eigen immersief geluidssysteem in een externe concertzaal, in dit geval De Kreun (Wilde Westen).
Het concert trok wijde ogen van allerlei professionals en het was logisch om hierop verder te bouwen. Al snel kwam de Ancienne Belgique naar voor als de volgende partner toen ze de Club-zaal ter beschikking stelden voor eind juni 2024.
De show van WITT zou dubbel zo lang worden en er zou meer ingezet worden op alternatieve manieren om AI visuals te genereren.
Omdat WITT live vocals combineert met een backing track, leek het ook logisch om ertegenover een band te plaatsen die volledig live speelde. Dat werd uiteindelijk Pothamus.
Binnen het onderzoek werd geëvalueerd wat er beter moest en wat het volgende niveau van immersieve concertbeleving zou kunnen zijn.
Unwrap: wat moet echt anders?
In grote lijnen waren we tevreden van het geluidssysteem op Unwrap. Het concert van WITT verliep goed, er waren niet te veel situaties waar we problemen mee hadden.
Wetende dat bij het volgende concert een band volledig live zou spelen, kwam wel een zwaktepunt naar boven: latency. Lees hier meer over wat latency is en waarom dat zo belangrijk is voor audio.
Kort samengevat: vertraging op het geluid van bron tot luidsprekers bij enkel zang (in het geval van WITT) is niet snel merkbaar, maar wel bij drums en andere percussieve instrumenten. De latency zou dus geminimaliseerd moeten worden en dus kijk je naar de computerinfrastructuur. We identificeerden de 2 belangrijkste bottlenecks.
Dante Virtual Soundcard
Via deze software kan je audio uitsturen via de netwerkkabel (Audio-over-IP) die in de computer steekt, met het Dante-protocol. Op deze manier heb je een latency van minimum 4 milliseconden per machine. Met een Dante-compatibele audio interface kan je de latency onder 1 milliseconde houden, dus we kozen voor de RME Digiface Dante die ook wordt aangeraden voor gebruik met onze immersive engine.
Immersive engine en computer
De immersive engine laat toe dat je audiobronnen virtueel positioneert en zal dat vertalen naar een mix voor de fysieke speakeropstelling. We blijven kiezen voor een software engine, namelijk Flux:: SPAT Revolution Ultimate, ook al geeft dat extra latency (dit omwille van flexibiliteit en budgetredenen.). In de plaats ervan hebben we een iets performantere computer gebruikt (Mac Studio M1 Max versus Mac Mini M1). De combinatie van die computer en de RME Digiface Dante halveerde de latency van 20 naar minder dan 10 milliseconden, wat werkbaar is.
We werkten al met 2 Mac Mini’s om de druk op de processor en dus de kans op het wegvallen van het geluid te beperken. Liefst wilden we Pro Tools en QLab op 1 computer draaien en de SPAT Revolution immersive engine op de andere.
Door het ontbreken van een aparte computer voor de video, draaiden de AI-visuals van frontvrouw Tine Theré ook op de Pro Tools computer. Dat wilden we niet nog eens opnieuw doen, ook al liep het niet per se mis.
Visie voor AB Club
We wilden hoog mikken voor audio en veel meer delen van de keten immersive maken. Er is gekozen voor immersive microfoonopstellingen, immersive reverbs, binaural monitoring (immersive op koptelefoon) voor muzikanten via KLANG, en tenslotte immersive captatie voor eventuele post-productie.
Voor immersive microfoonopstellingen en captatie verwijzen we jullie naar dit artikel. De immersive reverb die we gebruikt hebben is de achterliggende immersive convolution reverb tool gebouwd binnen voor de digital twin use case. Via Amptec kregen we een KLANG Konductor op demo.
Een idee dat we ook echt wilden proberen was het tracken en vertalen van de positie van Tine in de zaal naar automatische panning. Er was een prototype gebouwd steunend op het UWB (Ultra Wideband) protocol, maar wegens tijdsgebrek was er onvoldoende vertrouwen om het systeem meteen live te gebruiken.
AB Club: wat moet anders?
Netwerk en DHCP
In de AB Club was het bijzonder complex om audio en video te verenigen.
Vanuit audio waren er 2 aparte netwerken:
- 1 Audio-over-IP netwerk via het Dante-protocol voor alles van geluid, via een Luminex Gigacore 12 managed switch.
- 1 controle-netwerk voor OSC en MIDI Timecode, via een simpele D-Link unmanaged switch.
Omdat de visuals synchroon moesten zijn met het geluid en via audio-analyse interactief waren, moesten audio en video die netwerken delen. Dit veroorzaakte complicaties voor beide netwerken.
De Digiface Dante interfaces, hoewel betrouwbare toestellen, zijn niet gemaakt om met een vast ingesteld (fixed) IP te werken. Je kan via een omweg een vast IP instellen, maar als je de interface herstart schakelt hij terug over naar DHCP.
Met Dynamic Host Control Protocol kan een centrale DHCP-server specifieke IP-adressen toewijzen aan toestellen. Als een toestel ingesteld staat op DHCP, verwacht die een IP-adres te krijgen. Bij ontbreken van de centrale server kiezen ze zelf een IP-adres (self-assigned), te herkennen omdat ze starten met 169.
We moesten dus werken met DHCP voor de interfaces, maar we hadden geen server. Dit wisten we op voorhand en was getest in proefopstellingen zonder problemen.
Maar in de AB was een internetverbinding nodig om real-time visuals te genereren via StreamDiffusion. Zij die computernetwerken kennen, voelen het al aankomen: er werd een verbinding gemaakt met een extra netwerk waarop wel een DHCP-server aanwezig was. Dat is namelijk standaard in een gedeeld netwerk zodat niet iedereen thuis of in een bedrijf manueel een IP-adres moet kiezen.
Via de videocomputer kregen alle toestellen in het hele Dante-netwerk plots een IP-adres toegekend, waardoor onze verbindingen volledig ontregeld waren en de toestellen plots vermengd zaten in het privénetwerk van de Ancienne Belgique.
Uiteindelijk hebben we een internetverbinding gekregen die gesegmenteerd was zonder DHCP-server, maar de les is dat wij een DHCP-server moeten voorzien.
Managed controle-netwerk
De unmanaged D-Link switch voor het controle-netwerk moeten we ook vervangen door een managed switch. Tijdens ons toonmoment aan de industrie werd plots enorm veel data uitgestuurd door 1 van de videocomputers. We stuurden via QLab MIDI Timecode over het netwerk om de backing tracks van WITT te kunnen starten en stoppen, maar door al dat dataverkeer werd die verbinding onderbroken en daarmee ook de backing track. De audio herpakte zich gelukkig wel na een seconde of 2, maar zoiets willen we niet riskeren.
Enerzijds moeten we een alternatief vinden op MIDI Timecode, het wegvallen van het geluid als gevolg van het onderbreken van het signaal is inherent aan het concept (zodat je kan stoppen).
Anderzijds kan je bij een managed switch prioriteiten toekennen aan bepaald netwerkverkeer en toestellen gescheiden houden. Zo kan je genoeg bandbreedte garanderen voor de belangrijke verbindingen zoals show control, ook wanneer plots een toestel op hol slaat of de Russen een immersive concert willen saboteren (een realistisch scenario).
‘Remote’ mixing
De front-of-house positie bij de mengtafel is niet genoeg om de immersive mix te kunnen beoordelen. Bij repetities moet je de positionering en spreiding van klanken in de 3 dimensies op een aantal posities in de zaal beoordelen.
Dat de mix overal anders is, spreekt voor zich (we zijn niet The Sphere met individuele beam-forming). De elementen van de mix moeten vooral op zoveel mogelijk plaatsen in balans zijn. De belangrijke klanken mogen niet te extreem aan 1 kant van de zaal zitten, maar gespreid (reverb en spread/size parameters helpt hierbij!).
Met een goeie spreiding kan je met vertrouwen tijdens de show de balans in luidheid bijsturen vanop de mengtafel.
Je wil eigenlijk meteen de positionering (panning) van elementen bijregelen op eender welke positie, zonder eerst naar de mengtafel te lopen en dan terug om te luisteren. Vele engines voorzien een remote interface, waaronder ook SPAT Revolution, dus met een tablet is het eigenlijk al opgelost. Om die te verbinden gebruik je ofwel een lange netwerkkabel, of je voorziet een simpele router voor een draadloze verbinding met het controle-netwerk.
