Deze maand opent vlakbij Las Vegas in de VS de Madison Square Garden Sphere, een bolvormige concertzaal die probeert de grenzen van concertbeleving radicaal te verleggen. De band U2 speelt als eerste op 29 september in de zaal, als deel van een reeks concerten “U2:UV Achtung Baby Live At Sphere”. Met VMX hebben we het ontwerp geanalyseerd; hier kan je lezen wat het allemaal op technologisch vlak betekent.
Design
“New halls for listening must be built to meet with demands of spatial music. My idea would be to have a spherical chamber, a platform, transparent to both light and sound, would be hung for the listeners. They could hear music coming from above, from below and from all directions.” (Karlheinz Stockhausen, 1959)
Karlheinz Stockhausen ervaarde tijdens Expo ’58 in Brussel ’s werelds eerste immersive audio concert in het toenmalige Philips-paviljoen. Een jaar later komt hij met het idee van een bolvormige immersive concertzaal en samen met architect Fritz Borneman realiseert hij dit idee voor de Wereldexpo van 1970 in Osaka, Japan. Het publiek was volledig omringd door 50 luidsprekers die in 7 lagen van onder tot boven hingen. Een combinatie van multitrack opnames en live performances werden live door Stockhausen gemixt door middel van een speciale op maat gebouwde panner genaamd de “rotation mill”.
Natuurlijk zijn we tegenwoordig tot veel meer in staat en de MSG Sphere heeft duidelijk de ambitie om de grens te verleggen van wat kan met audio en video. Tegelijkertijd zien we toch ook wel dat men teruggrijpt naar de klassieke concertervaring van voor Stockhausen: we hebben toch een podium aan 1 kant van de ruimte, waarnaar (in dit geval) tribunes met zitplaatsen zijn gericht. So what’s the big idea?
Video verhaal
De Las Vegas MSG Sphere is een verbluffend wonder dat dag en nacht tot leven komt en de geest van elk seizoen en elke feestdag omarmt met een betoverende weergave van animaties en echte beelden. Stel je dit voor: met Halloween verandert het in een kolossale pompoen, en tijdens Kerstmis verandert het in een betoverende sneeuwbol, waarbij iedereen die het aanschouwt in de ban raakt.
Het eerste dat je ziet als je naar deze kolossale structuur kijk is het gigantische externe scherm, een stralend spektakel dat de hele bol omhult. Bestaande uit een verbazingwekkende 1.2 miljoen programmeerbare LEDS, beslaat dit scherm een verbazingwekkende 54 000 vierkante meter. Het dient zowel als artistiek wonder, met prachtige visuals, als een krachtig marketinginstrument, met de mogelijkheid om advertenties te tonen die hedendaagse conventies tarten.
Maar het spektakel houdt hier niet op; de Sphere beschikt over een extern camerasysteem dat real-time beelden van zijn omgeving vastlegt. Deze beelden worden vervolgens geprojecteerd op het enorme externe scherm, waardoor de illusie ontstaat dat de Sphere zelf is verdwenen, en alleen de omgeving overblijft.
Hoewel het interne scherm als “klein” kan worden beschouwd in vergelijking met zijn externe tegenhanger, overtreft het nog steeds alles wat je ooit gezien hebt. Met een oppervlakte van ongeveer 15 000 vierkante meter, staat het bekend als ’s werelds grootste bruikbare videoscherm in zijn soort, met het hoogste LED-schermresolutie tot nu toe: een indrukwekkende 19 000 bij 13 500 pixels – bijna honderd keer scherper dan de televisie die je waarschijnlijk thuis hebt. CEO van MSG Ventures, David Dibble, ziet een meeslepende ervaring binnenin de Sphere, vergelijkbaar met Virtual Reality, maar zonder de noodzaak van onhandige brillen.
Dit technologische wonder werkt samen met 7th Sense, een toonaangevend software- en technologiebedrijf dat gespecialiseerd is in pixelgeneratie, -verwerking en -beheer. Het mediasysteem van de Sphere is een knooppunt van diverse bronnen, waaronder pre-rendered beelden, live feeds en on-the-fly gegenereerde visuals. Om gegevens naadloos over te dragen tussen deze systemen, maken ze gebruik van het SMPTE ST 2110-protocol, de gouden standaard in netwerk-gebaseerde videotransmissie voor de uitzendingsindustrie. Een reeks gespecialiseerde systemen, waaronder de “Juggler” voor het beheer en samenstellen van de diverse videobronnen en de “Conjurer” die toezicht houdt op de generatieve inhoud, zorgen voor een vlekkeloze werking. Alle pre-rendered inhoud wordt gestreamd vanuit een gecentraliseerd opslagsysteem, terwijl live generatieve inhoud en feeds worden aangedreven door geavanceerde game-engines zoals Unreal Engine, die allemaal kunnen worden bediend via verscheidene API’s.
Aanvankelijk werd geschat dat de Sphere een verbijsterende 150 terawattuur aan energie per jaar zou verbruiken. Maar herberekeningen onthulden een meer realistische energiebehoefte van ongeveer 100 gigawattuur per jaar. In een opmerkelijke duurzaamheidsinspanning streeft MSG Ventures ernaar om 70% van hun shows van zonne-energie te voorzien, waarbij ze van plan zijn een speciaal zonne-energieveld en batterijopslagcomplex te bouwen dat exclusief voor de Sphere bestemd is.
Om hun meeslepende ervaringen te voeden, heeft MSG Ventures een nieuwe dochteronderneming opgericht genaamd MSG Studios, die zich toelegt op het creëren van content die specifiek is ontworpen voor de Sphere. Ze werken samen met visionaire filmmakers en muzikanten om zo boeiende en unieke ervaringen te creëren. Traditioneel gezien monteren ze meerdere beelden aan elkaar om zo op het uitgestrekte scherm van de Sphere te passen. Ze hebben echter een baanbrekende oplossing geïntroduceerd genaamd “The Big Sky”; een gespecialiseerd camerasysteem dat in staat is om beelden vast te leggen met een verbazingwekkende resolutie van 18K en aan 120 frames per seconde. Dit uniek apparaat zal binnenkort een reis maken naar het International Space Station (ISS) waar het ruimtewandelingen zal maken om zo beelden van onze prachtige hemelen vast te leggen. Deze beelden zullen daarna weer tot leven komen in de Sphere waar de bezoekers ze in de hoogste kwaliteit kunnen aanschouwen.
De audio kant
Het Duitse pro audio bedrijf HOLOPLOT voorziet een sterk doorgedreven immersive audio ervaring, waarvoor ze een volledig eigen audio ecosysteem hebben uitgebouwd. Er zijn 1600 vast geïnstalleerde speaker arrays, alsook 300 mobiele speaker arrays die afhankelijk van de productie nog op bepaalde plaatsen bijgezet kunnen worden. Zo’n speaker array is opgebouwd uit tot 96 kleine individuele beamforming luidsprekers, in totaal zijn er zo 167.000 luidsprekers.
Maar een immersive systeem is meer dan luidsprekers: je moet een systeem voorzien waarin de mixing engineer in immersive kan mixen, geluiden met enige vrijheid in de ruimte moet kunnen positioneren. Dan heb je een renderer nodig die de mix binnen dat systeem vertaalt naar de speaker(array)opstelling. Plaats jij een klank linksboven, dan zal de renderer daarvoor zorgen zonder dat jij specifieke luidsprekers moet gaan aansturen. HOLOPLOT gaat nog verder. Ze hebben de drivers van de individuele luidsprekers ontworpen, de Digital Signal Processing (DSP) van het systeem bedacht, de plaatsing van de arrays in de ruimte bedacht hebben, de speakers dan ook getuned hebben zodat ze optimaal werken voor hun positie in de ruimte, en meer. Ze hebben een onwaarschijnlijk luxueuze positie kunnen aannemen (mede dankzij het enorme budget van 2,3 miljard dollar) en het hele audioverhaal tot in de details hebben kunnen realiseren in het kader van the big picture.
Audio design principes
Het audio design principe van de MSG Sphere vertrekt van de vraag: “wat als je geluid op dezelfde manier zou kunnen gebruiken als licht?” Je kan specifieke lampen in een bepaalde richting laten schijnen, dus kan je dan ook geluid van bepaalde speakers enkel in een bepaalde richting sturen? Kan je op basis daarvan ervoor zorgen dat iedereen in het publiek een bron op eenzelfde locatie kan ervaren, onafhankelijk van waar ze zich in de ruimte bevinden? En dat ook nog eens in immersive, dus in 3 dimensies?
Hier breekt men hard met de typische concertervaring: 1 gedeelde luisterervaring met 1 sweet spot (de plaats waar het geluid het beste klinkt). Volgens dat idee zijn onze systemen met line array speakers in concertzalen doorgaans gebouwd, met de sweet spot aan de Front Of House. HOLOPLOT beweert nu om aan elk van de 17.600 zitplaatsen en 20.000 staanplaatsen een individueel afgestelde sweet spots te kunnen geven. Om dat mogelijk te maken, steunen ze daar op 2 principes: wave field synthesis en beamforming.
Bij wave field synthesis probeer je met vele kleine luidsprekers een realistische ervaring van ruimte op te wekken, waarbij klanken in het geluidsbeeld accuuraat gepositioneerd lijken. Je zou dus echt het gevoel krijgen dat de bron van een geluid op een specifieke positie staat, terwijl het eigenlijk gewoon luidsprekers zijn die de klank van die bron reproduceren.
Standaard vertrekt wave field synthesis van een horizontale speaker array, maar HOLOPLOT ontwikkelde een matrix van 96 speakers die verspreid over een rechthoek zitten. Met 1600 van die matrices beweren ze in staat te zijn een volledige, overtuigende, immersive ervaring te kunnen bieden.
Beamforming bouwt verder op dat systeem via DSP. De fysische principes van constructieve en destructieve interferentie zeggen dat signalen elkaar versterken of tegenwerken. Daarop verder bouwend kan je, met de juiste technologie, de richting waarnaar een geluid gestuurd wordt gaan beperken, zodat een klank heel goed of juist helemaal niet hoorbaar wordt afhankelijk van je positie. Op deze manier kunnen aparte klankzones gemaakt worden die naast elkaar liggen, waarbinnen je zoveel mogelijk enkel het geluid voor jouw zone hoort. In een demo demonstreert Holoplot hoe ze binnen een beperkte oppervlakte 3 zones kunnen creëren met elks een apart klinkende taal.
Via de combinatie van beamforming en wave field synthesis, proberen ze om naar elk punt van de zaal hetzelfde realistisch immersief klankbeeld te kunnen uitsturen, met dezelfde kwaliteit en dezelfde loudness én mogelijkheden tot personalisatie.
Limitaties
Maar… er zijn beperkingen. Daar zwijgt men nu natuurlijk zoveel mogelijk over, maar wat we wel al weten is dat audio zich (zoals vaak) moest aanpassen aan het beeld.
Waar ze natuurlijk heel hard mee uitpakken zijn die enorme LED-schermen, die zich overal bevinden behalve achter de zitplaatsen. Noodgedwongen moet een groot deel van de luidsprekers dan ook achter die LED-schermen hangen. Dat betekent dat het geluid niet rechtstreeks naar jouw oor gaat, maar door de schermen moet, die een bepaalde weerstand bieden tegen de geluidsgolven die erdoor moeten worden gestuurd. Dat leidt tot een verlies in energie en een verkleuring van het signaal – bepaalde frequentiegebieden, zeker de hoge frequenties, worden geabsorbeerd en hoor je dus minder goed. Dat signaalverlies moet door HOLOPLOT gecompenseerd worden, wat ze doen ze via de DSP in de individuele speakers beweren op te lossen met een complexe tuning. Maar dit heeft volgens ons toch wel een grote impact op het geluid.
Er is ook al vaak kritiek gekomen op het externe scherm. Men denkt namelijk dat de Sphere te afleidend zou zijn voor het omliggende verkeer en zou dus de kans op ongevallen kunnen verhogen. In samenleg met de lokale overheid zal MSG Ventures dus afspraken moeten maken over wat kan en wat niet.
Conclusie
Hoe dan ook is dit een vooruitstrevend, ambitieus project waar men alle middelen voor heeft ingezet. Alleen kunnen we het systeem nog niet horen en is een beoordeling dus moeilijk. Het is een volledig ecosysteem dat aangeleverd wordt door 1 bedrijf en tot nu toe alleen maar in een kleinere versie geïnstalleerd is in The Beacon, een andere concertzaal van de MSG Group in New York. Van de weinige reacties die we konden terugvinden, was het voornaamste inzicht daar dat de doorgaans slechtst klinkende zitplaatsen met het systeem beduidend beter klonken. Maar er werd ook gezegd dat ze door limitaties in de dimensies van de ruimte niet equivalent waren aan plaatsen recht voor het podium. Dat is hier misschien anders, waar overwegingen rond audio ook mee in het ontwerp verwerkt kunnen worden, maar zoals de positie van de luidsprekers toont: limitaties zijn er altijd.
Naar ons gevoel is het niet mogelijk om elk van de 19.000 publieksleden een eigen sweet spot te geven, maar het lijkt ons wel dat er genoeg zones gecreëerd kunnen worden om consequent doorheen de zaal een hoogkwalitatieve immersive geluidservaring te kunnen aanbieden. Dat is sowieso een goede zaak.
We zien ook veel mogelijkheden in deze technologieën. De beamforming technologie zou bijvoorbeeld ook gebruikt kunnen worden als een soort monitor mixer, waarbij je artiesten kan volgen zodat ze overal op het podium dezelfde monitor mix hebben, zonder dat ze heel de tijd in-ears moeten dragen en er tegelijk niet teveel problemen met feedback zijn. Een ecosysteem zoals dit, waar men in de hele audioketen designkeuzes kan maken die kaderen in het groter geheel, kan wel echt de volgende stap in immersive technologie zijn. Maar we gaan het moeten horen om het te weten… Lijkt ons wel een verhaal om verder op te blijven volgen.
