Onze onderzoeksgroep heeft afgelopen november de jaarlijkse Unite-conferentie bijgewoond, georganiseerd door het game-engine bedrijf Unity. Deze conferentie omvat een uitgebreide tentoonstelling van de nieuwste technologieën en partners, die allemaal gerelateerd zijn aan Unity. Onder deze partners bevindt zich Reactional Music, een bedrijf uit Zweden, dat een nieuwe manier van game muziek integratie voorstelt. In plaats van het traditionele loop-based systeem (hieronder uitgelegd) maakt Reactional Music gebruik van algoritmen om muziek dynamisch aan te passen op basis van specifieke parameters, wat resulteert in natuurlijkere overgangen en meer controle- en integratiemogelijkheden.
Traditionele Game Muziek Integratie
Moderne game muziek wordt vaak geproduceerd en geïmplementeerd in loopvorm, waarbij composities naadloos in elkaar overgaan om zo een consistente soundtrack te bieden. Deze loops worden dynamisch geselecteerd en afgespeeld op basis van gameparameters zoals locatie van de speler, acties en omgevingsomstandigheden. Deze parameters worden door de game-engine doorgegeven aan ofwel een externe audio-engine ofwel een custom-made interne muziek implementatie, die de juiste muziektracks selecteert en afspeelt. Dit is vaak enkel 1-richtingsverkeer; er worden meestal geen parameters of events vanuit het muzieksysteem verstuurd naar de game engine. Geluidseffecten (SFX) worden vaak dynamisch gemoduleerd op basis van de spelsituatie, met aanpassingen in volume, pitch en effecten, maar game muziek wordt over het algemeen nog niet zo dynamisch aangepast.
Reactional Music belooft een verandering te brengen in het traditionele loop-systeem, waar parameters en events vanuit zowel de game- als de muziek-engine onderling verstuurd kunnen worden en de muziek op speciale manieren gemoduleerd kan worden.
Wat is Reactional Music?
Reactional Music biedt een commercieel, technisch en creatief kader voor next-generation muzikale ervaringen in games. Hun op regels gebaseerde muziekengine maakt generatieve composities mogelijk die zich on the fly kunnen aanpassen aan de hand van game parameters en die ook het tegenovergestelde mogelijk maakt; parameters die vanuit de muziek kunnen doorgestuurd worden naar de game. Verder stelt het gamers en developers in staat om hun gameplay-ervaring te personaliseren door hun eigen favoriete muziek te integreren, vergelijkbaar met het aanpassen van ‘skins’ en andere in-game aankopen.
Live DJ-ervaring bij Unite 2023
Een hoogtepunt van Unite 2023 was een uniek closing event met een live DJ. Het Reactional Music-team creëerde een show waarbij live gameplay werd gesynchroniseerd met een DJ-set en de gamegegevens werden gebruikt om stage elementen zoals de verlichting en rookmachines aan te sturen. Het publiek werd uitgenodigd om het podium op te gaan en de high score van de game te verbreken terwijl de DJ aangepaste tracks speelde, waardoor de interactie tussen de game en live muziek een nieuw hoogtepunt bereikte.
Dit evenement liet zien hoe Reactional Music’s technologie kan worden toegepast in live game-of concertomgevingen. Het creëerde een naadloze integratie van muziek, gameplay en visuele effecten, allemaal aangestuurd door de Reactional Engine in realtime.
De technologie werd gedemonstreerd met behulp van een aangepaste Unity-demo, waarbij de speler in een muzikale omgeving kon schieten en bewegen op het ritme van de muziek. Het gebruik van de Reactional Engine zorgde ervoor dat het afvuren van schoten perfect synchroniseerde met de beat, waardoor een uniek gameplay-element ontstond.
Een Nieuw Tijdperk voor Gamemuziek?
De recente showcase op Unite 2023 toont aan dat Reactional Music zowel een nieuwe manier waarop we gamemuziek ervaren teweegbrengt, maar ook de poorten opent naar nieuwe creatieve live mogelijkheden, met integraties van extra stage-elementen zoals licht en rook. De toekomst van gamemuziek lijkt helderder en interactiever dan ooit tevoren, en Reactional Music is een speler waarvoor we in de toekomst zeker zullen moeten uitkijken.
Wij hopen binnekort als onderzoeksgroep toegang te hebben tot hun beta-programma zodat we deze nieuwe technologie als eerste kunnen uittesten.
