In het kader van het maken van een digitale kopie van een artiest zochten we naar een techniek die relatief tijdsefficient en toegankelijk bruikbaar zou zijn. Voor onze tests vroegen we Orpheus onderzoeker Tom Beghin als test subject opdat we hem in latere experimenten ook zouden kunnen mocappen om de MetaHuman tot leven te wekken.
MetaHumans
MetaHumans is een tool van Epic Games waarmee we in korte tijd hyperrealistische digitale mensen kunnen creeren. Verder hebben deze MetaHumans reeds ingebouwde skeletten, controls, animatiesystemen en extreem vlotte integratie met Unreal Engine. Daarom kozen we voor de uitdaging te kijken of we een MetaHuman de gelijkenis van ons testsubject kunnen laten aannemen. Het is echter zo dat als je een MetaHuman binnen de tool van scratch opbouwt, je bent beperkt tot een kleine selectie van haarstijlen, kleding, lichaamsbouwen, …
Voor dit experiment focusten we ons eerst en vooral op het gezicht. En hiervoor bestaat er een handige ingebouwde tool genaamd “Mesh to MetaHuman”. Hierbij kunnen we een 3D scan van ons testsubject gaan inladen en vervolgens een MetaHuman laten genereren met dezelfde hoofdvorm. Maar voor we dit proces kunnen beginnen hebben we natuurlijk zo een 3D scan nodig.
Photogrammetry
Om deze 3D scan te verkrijgen maken we gebruik van de techniek photogrammetry. Hierbij nemen we een reeks van een 100+ tal foto’s rondomrond het subject en kan de software (RealityCapture) op basis hiervan een 3D model genereren. We gebruikten hiervoor onze eigen photogrammetry setup in Campus The Square (Kortrijk) omdat deze toestaat in enkele tellen een scan te maken van een volledige persoon door alle foto’s simultaam en met gelijke belichting te maken wat zorgt voor betere resultaten. Mocht je dit echter zelf willen doen is het altijd mogelijk van dit met slechts 1 camera te doen of met een photogrammetry app zoals RealityScan of PolyCam.


Texturen
Wanneer we uit de scan vervolgens het hoofd isoleren en met Mesh to MetaHuman omzetten naar een MetaHuman merken we meteen dat ondanks de correcte vorm van hoofd de gelijkenis nog ver zoek is. Zoals eerder vermeld zijn we beperkt binnen deze tool qua keuze van kapsel en gezichtsbeharing, maar wat we wel gemakkelijk achteraf kunnen aanpassen is de textuur van het gezicht. Als we er voor zorgen dat de huidskleur, rimpels, mogelijke moedervlekken en dergelijke allemaal correct zijn zal de MetaHuman automatisch al meer lijken op het test subject.
Hiervoor gebruikten we de plugin Facebuilder van Keentools in de modellingsoftware Blender. Om hiermee aan de slag te gaan hebben we nogmaals een fotoset nodig van ons subject. Ditmaal uit enkele verschillende hoeken. In Blender projecteren we vervolgens een basis mesh op deze foto’s en kunnen hierop verschillende punten aanpassen om de vorm van het 3D hoofd er meer overeen mee te doen komen. Tot slot projecteren we met de tool de foto’s op de nieuwe verkregen hoofdmesh. Hiermee verkrijgen we een textuurmap die perfect overeen komt met de mapping die wordt gebruikt met MetaHumans en kunnen we deze dus makkelijk daarop toepassen.
Sidenote: Uit deze stap krijgen we ook een 3D mesh. Deze is meer handmatig werk en minder precies dan een 3D scan, maar zeker close genoeg om te gebruiken in Mesh to MetaHuman indien de photogrammetry stap niet haalbaar zou zijn.
Resultaat
Wanneer we al deze stappen vervolgens samenvoegen krijgen we het volgende resultaat (Mits licht andere belichting) We merken dat Mesh to Metahuman toch nog enkele aanpassingen doet aan de hoofdvorm, vooral dan in hoe die connecteert met de nek. Verder zorgen de beperkte haaropties ook voor minder gelijkenis. Ook is de resolutie van de Metahuman niet de hoogste en dus meest realistische optie gezien we hebben geopteerd voor een meer geoptimizde versie die we mogelijks in VR kunnen gebruiken.



Voor een eerste test en een snel resultaat zien we zeker genoeg gelijkenis maar het is duidelijk dat wat extra werk (Custom haar meshes, opkuis 3D scan, …) de gelijkenis nog zou kunnen vergroten.
In de toekomst zouden we graag nog verder experimenteren met de mogelijkheden van het customiseren van de lichamen om ook deze zo gelijk mogelijk te krijgen van vorm, postuur, connectie van hoofd en lichaam, …)