La nouvelle technologie d’animation de capture de mouvement d’Epic doit être vue pour être crue


SAN FRANCISCO – Chaque année, lors de la Game Developers Conference, une poignée d’entreprises concurrentes présentent leur dernière technologie de capture de mouvement, qui transforme les performances humaines en animations 3D pouvant être utilisées sur des modèles de jeu. Habituellement, ces démonstrations techniques impliquent beaucoup de matériel spécialisé pour la capture des performances et une bonne partie du traitement informatique et des ajustements manuels de l’artiste pour obtenir les données résultantes dans un état prêt pour le jeu.

Le prochain outil d’animation faciale MetaHuman d’Epic semble sur le point de révolutionner ce type de flux de travail exigeant en temps et en main-d’œuvre. Lors d’une démonstration impressionnante lors de la présentation sur scène de State of Unreal de mercredi, Epic a présenté le nouveau système alimenté par l’apprentissage automatique, qui n’avait besoin que de quelques minutes pour générer une animation faciale incroyablement réelle et sautant dans une vallée étrange à partir d’une simple vidéo frontale prise sur un iPhone.

La possibilité d’obtenir des résultats rapides et haut de gamme à partir de ce type d’entrée de base « a littéralement changé la façon dont [testers] travail ou le type de travail qu’ils peuvent entreprendre », a déclaré le vice-président Epic de Digital Humans Technology, Vladimir Mastilovic, lors d’une table ronde mercredi après-midi.

Une démo époustouflante

La nouvelle technologie d’animation automatique s’appuie sur l’outil de modélisation MetaHuman d’Epic, qui a été lancé en 2021 pour créer manuellement des modèles humains très détaillés dans Unreal Engine 5. Depuis ce lancement, plus d’un million d’utilisateurs ont créé des millions de MetaHumans, a déclaré Epic, certains de quelques minutes de traitement sur trois photos d’un visage humain.

Le principal problème avec ces MetaHumans, comme l’a dit Mastilovic sur scène mercredi matin, est que « les animer n’était toujours pas facile ». Même les studios qualifiés auraient souvent besoin d’utiliser une « capture 4D » détaillée à partir de matériel spécialisé et « des semaines ou des mois de temps de traitement » et des ajustements humains pour obtenir une animation utilisable dans le jeu, a-t-il déclaré.

MetaHuman Animator est conçu pour rationaliser considérablement ce processus. Pour le démontrer, Epic s’est appuyé sur l’artiste de performance Ninja Theory Melina Juergens, bien connue pour son rôle de Senua en 2017. Hellblade : le sacrifice de Senua.

La performance sur scène de 15 secondes de Juergens a été capturée sur un iPhone d’origine monté sur un trépied devant elle. La vidéo résultante de cette performance a ensuite été traitée sur une machine AMD haut de gamme en moins d’une minute, créant une animation 3D pratiquement impossible à distinguer de la vidéo originale.

La rapidité et la fidélité du résultat ont suscité une salve d’applaudissements de la part des développeurs réunis au Yerba Buena Center for the Arts et il faut vraiment le voir pour le croire. De minuscules touches dans la performance de Juergens – des dents dénudées aux minuscules tremblements de la bouche en passant par les regards latéraux – sont toutes incorporées dans l’animation d’une manière qui la rend presque impossible à distinguer de la vidéo originale. Même les mouvements réalistes de la langue sont extrapolés à partir de l’audio capturé, en utilisant un algorithme « audio à la langue » qui « est ce à quoi cela ressemble », a déclaré Mastilovic.

De plus, Epic a également montré comment tous ces tics faciaux pouvaient être appliqués non seulement au propre modèle MetaHuman de Juergens, mais à tout modèle construit sur le même standard MetaHuman. Voir les mouvements et les mots de Juergens sortir de la bouche d’un personnage de dessin animé très stylisé, quelques minutes seulement après qu’elle les ait exécutés, était pour le moins frappant.

La présentation s’est terminée par le lancement d’une bande-annonce axée sur la performance pour le prochain La saga de Senua : Hellblade II. Cette bande-annonce est rendue d’autant plus impressionnante par Mastilovic en disant que la performance de Juergens capturée par le mouvement du corps entier « n’a été ni peaufinée ni modifiée de quelque manière que ce soit et n’a pris qu’à quelques minutes à un animateur MetaHuman, du début à la fin ».

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

*