In het voortdurend veranderende landschap van muzikale ervaringen blijft de combinatie van technologie en creativiteit nieuwe mogelijkheden bieden. Zo onderzochten we met de Virtual Music Experiences onderzoeksgroep de meerwaarde van “Extended Reality” (XR) interfaces om interactiviteit toe te voegen aan live-evenementen. Het resultaat is een proof of concept die we de “XR Music Toy” noemen.
Doelstelling
In het huidige concertlandschap is er soms weinig ruimte voor spontaniteit. Het publiek verwacht dat nummers klinken zoals ze ze kennen. Vaak lopen dan ook backing tracks mee die geprogrammeerd worden op tijdcode. Zijn er toch speciale momenten, dan zijn die meestal afgesproken en gerepeteerd. Maar soms is het moment juist en wil je als artiest of publiek dat het blijft doorgaan, of wil je om impact te maken juist iets anders doen. We zien dus toepassingen om de interactie met publiek te verbeteren, wat de beleving dan weer verbetert. Daarnaast zien we ook mogelijkheden om bijvoorbeeld de lichtshow te kunnen aansturen vanop het podium, te componeren, klanken aan te passen, enzovoort.
Visie & Ontwerp
Het kernconcept is om een extra virtuele laag te bouwen bovenop een traditionele live-setup van een artiest die de mogelijkheden van die setup zal uitbreiden. Het is van uiterst belang dat de artiest hun “native” setup op een conventionele manier kan blijven besturen. De interactie met de virtuele laag moet duidelijk, intuïtief en responsief te zijn, zodat artiesten zich kunnen concentreren op het leveren van een kwaliteitsvolle performance. De XR-omgeving zal de artiest voorzien van de nodige visuele feedback om aan te geven hoe en wanneer hun acties hun opstelling beïnvloeden.
Experimenteel Karakter
Zowel de ontwerp- als de prestatieaspecten van dit project zijn experimenteel. De hedendaagse creatieve mogelijkheden in audio-omgevingen, in combinatie met de jeugdigheid van de betrokken technologie, benadrukt het experimentele karakter van de XR Music Toy. Door het gebruik van de term “Toy”, leggen we de nadruk op een speelse mindset, wat de bedoeling benadrukt om een luchtige en exploratieve sfeer te behouden bij benadering van dit project.
Componenten & Lagen
Het project is verdeeld in twee belangrijke lagen:
De Virtuele Laag (XR)
De virtuele laag van de XR Music Toy is ontwikkeld met behulp van de Unity game-engine en de Oculus SDK. Via de Oculus SDK kunnen we gebruik maken van verscheidene nieuwe technologieën die de nieuwe XR-headsets (in ons geval de Oculus Quest 3/Pro) ons bieden:
- Passthrough-technologie stelt de headset in staat om met behulp van camera’s de echte omgeving vast te leggen en weer te geven binnen de virtuele omgeving. Deze functie verbetert het bewustzijn van de gebruiker van hun fysieke ruimte tijdens onderdompeling in VR.
- Handtracking-technologie stelt gebruikers in staat om met de virtuele omgeving te communiceren met hun handen, zonder dat er controllers nodig zijn. Camera’s op de headset detecteren en interpreteren handbewegingen, waardoor een natuurlijkere en intuïtievere interactie binnen VR-toepassingen mogelijk is.
De Audio Laag
Meestal kiezen artiesten tussen het gebruik van een Digital Audio Workstation (DAW), een hardware-opstelling of een keuze uit live-instrumenten bij live-shows. Deze keuze kan al dan niet verder vormgegeven worden door tools zoals Max, die een laag van controle en modulatie toevoegen aan het muzikale landschap.
De XR Music Toy integreert de virtuele laag met deze muzikale omgeving via het Open Sound Control (OSC) protocol. OSC is een protocol speciaal ontworpen om audiotoestellen en -software te kunnen laten communiceren over een netwerkverbinding. Het wordt al uitgebreid gebruikt in liveomgevingen zoals voor show control en dergelijke. Dankzij OSC kunnen we realtime aanpassingen van parameters vanuit onze virtuele laag doorsturen naar onze audio laag waarin de klanken dan vervormd worden. Vanuit de audio laag kunnen er dan ook weer OSC commando’s naar onze virtuele laag gestuurd worden om zo visuele feedback te triggeren.
Resultaten & Toekomstige Ontwikkeling
Als eerste experiment hebben we beslist om een klein planetensysteem na te bouwen en dit te gebruiken als instrument. Hiermee wordt Ableton Live bestuurd en het potentieel van de XR Music Toy voorgesteld. Tests die zijn uitgevoerd tijdens onze gebruikersgroepsbijeenkomst bij Motormusic leverden positieve feedback op, wat wijst op interesse en potentieel voor verdere ontwikkeling. Het doel is om samen te werken met een artiest, wat zou kunnen leiden tot een live show waarin de XR Music Toy een integraal onderdeel wordt en de grenzen van interactieve muziekervaringen worden verlegd.
Video 1: Door de planeten te manipuleren kunnen we effecten op het geluid veranderen. Hierdoor kan je bv de filter laten open en dichtgaan bij het slepen van de planeet of bv meerdere effecten tegelijk moduleren bij het weggooien, wat hier een soort van distorted tremolo nabootst.
Video 2 (geen geluid): Je kan ook andere software aansturen zolang die OSC ondersteunen. In het filmpje zie je hoe de verschillende lengtes en breedtes van de vorm zich aanpassen naargelang de posities van de planeten.
Haalbaarheid
We moeten nog verder onderzoeken hoe haalbaar dit project is in een live-omgeving. We moeten testen hoe makkelijk dit project is om te gebruiken in een optreden en of alle technologieën zoals de hand-tracking cameras goed blijven werken wanneer ze zich in een minder-ideale omgeving bevinden.
