Avatars 2.0 codec: Meta streeft naar realisme in de metaverse

Meta-ingenieurs benaderen een vorm van realisme voor de metaverse met Codec Avatars 2.0, een prototype van VR-avatars die gebruik maken van geavanceerde machine learning-technieken.

Drie jaar geleden onthulde Meta’s dochteronderneming Facebook haar werk met Codec Avatars. Ondersteund door meerdere neurale netwerken, worden avatars gegenereerd met behulp van een gespecialiseerd opnameapparaat met 171 camera’s. Eenmaal gemaakt, kunnen ze in realtime worden bestuurd met behulp van een prototype van een virtuele headset met vijf camera’s (twee interne camera’s voor elk oog en drie externe camera’s voor het ondervlak). Sindsdien hebben de teams achter het project verschillende verbeteringen aan het systeem aangebracht, waaronder realistischere ogen en een versie die alleen eye-tracking en microfooninvoer vereist.

Afgelopen april presenteerde Yaser Sheikh tijdens het MIT Seminar “Virtual Creatures and Being Virtual” een nieuwe versie van Codec Avatars. Ondanks grote en belangrijke ontwikkelingen is er nog een lange weg te gaan: “Ik zou zeggen dat een van de grote uitdagingen van het komende decennium is om te zien of we interactie op afstand kunnen bieden die niet te onderscheiden is van face-to-face communicatie.” Tijdens de workshop merkte hij op dat het onmogelijk is om te voorspellen hoe snel de Codec Avatars daadwerkelijk zullen worden vrijgegeven. Hij zei echter dat toen het project begon, er tien wonderen moesten worden verricht, en nu denkt hij dat het er vijf zijn.

Realistische Avatars met Avatars Codec 2.0 voor Meta

Codec Avatars 2.0 kan echter een op zichzelf staande oplossing zijn en geen directe update van de huidige cartoonavatars. In een interview met Lex Friedman beschreef CEO Mark Zuckerberg een toekomst waarin gebruikers een avatar in tekenfilmstijl zouden kunnen gebruiken in casual games en een realistische avatar in zakelijke bijeenkomsten.