Facebook montre des recherches visant à produire des avatars véritablement réalistes

Classé dans : Non classé | 0

Le scientifique en chef de Facebook Reality Labs (FRL), Michael Abrash, pense que la RA et la réalité virtuelle seront la principale manière de travailler, de jouer et de se connecter à l'avenir. Abrash parle régulièrement du moment où il s'attend à ce que ces étapes fondamentales de la technologie se produisent, mais dans une nouvelle série de blogs d'une année, il souhaite expliquer en détail comment cela va se passer.

Abrash a révélé aujourd'hui dans un article de blog plus d'informations sur les recherches de la société concernant les avatars réalistes, entreprises par la succursale de Sktsworks de l'entreprise à Pittsburgh, Facebook Reality Labs.

Surnommé «Codec Avatars», le bureau de Pittsburgh utilise ce qu'ils appellent «une technologie de capture 3D et des systèmes d'intelligence artificielle révolutionnaires» pour générer des avatars virtuels réalistes qui pourraient constituer la base d'un créateur d'avatar personnel rapide et facile.

Selon Yaser Sheikh, directeur de la recherche chez FRL Pittsburgh, l’idée est de réduire les distances physiques et de créer des liens sociaux dans la réalité virtuelle aussi «naturels et communs que ceux du monde réel».

Image courtoisie Facebook

«Il ne s'agit pas uniquement de graphiques de pointe ou de suivi avancé des mouvements», explique Sheikh. «Il s’agit de rendre aussi simple et naturel le fait d’interagir avec des personnes en réalité virtuelle comme avec quelqu'un qui se trouve juste devant vous. Le défi consiste à créer des interactions authentiques dans des environnements artificiels. "

Cela se résume à la réalisation de ce que l'équipe appelle «la présence sociale», et travailler sur cette étrange vallée pour fournir des avatars raisonnablement réalistes est un travail sur lequel ils travaillent depuis des années. l'équipe appelle le processus «passer le test de l'ego et le test de la mère».

«Vous devez aimer votre avatar et votre mère doit aimer votre avatar avant que vous ne soyez à l'aise d'interagir comme vous le feriez dans la vie réelle. C'est une barre très haute », affirme Sheikh.

Une démonstration montrant deux utilisateurs de la RV en train de parler avec des avatars réalistes donne un aperçu intéressant de ce que pourrait être l'avenir des avatars de la réalité virtuelle.

 

La société affirme qu’à ce stade, ce type d’avatar photoréaliste en temps réel nécessite tout le matériel nécessaire. Les deux studios de capture du laboratoire – l'un pour le visage et l'autre pour le corps – sont certes à la fois «volumineux et impraticables».

L’objectif ultime est toutefois d’obtenir tout cela avec des micro-casques légers, même si FRL Pittsburgh utilise actuellement son propre prototype de systèmes de capture à montage sur la tête (HMC) équipés de caméras, d’accéléromètres, de gyroscopes, de magnétomètres, de l’éclairage infrarouge et de microphones pour capturer toute la gamme de fonctions. expression humaine.

Image courtoisie Facebook

«Les avatars Codec doivent capturer votre profil en trois dimensions, y compris toutes les subtilités de votre mouvement et les qualités uniques qui vous rendent immédiatement reconnaissable par vos amis et votre famille», explique la société. "Et, pour que des milliards de personnes utilisent chaque jour les avatars du codec, il est donc simple et rapide de les utiliser."

À l'aide d'un petit groupe de participants, le laboratoire enregistre 1 Go de données par seconde afin de créer une base de données de traits physiques. À l'avenir, on espère que les consommateurs pourront créer leurs propres avatars sans studio de capture et sans beaucoup de données.

 

Pour le moment, les captures volumétriques durent environ 15 minutes et nécessitent un grand nombre de caméras pour créer les avatars les plus photoréalistes possibles. Le laboratoire prévoit ensuite d’utiliser ces captures pour former des systèmes d’intelligence artificielle afin que les consommateurs puissent ensuite créer rapidement et facilement un avatar de codec à partir de quelques clichés ou vidéos.

Les humains ont des formes et des tailles très différentes, ce qui sera son propre défi à relever, a déclaré le chercheur scientifique FRL, Shoou-I Yu.

«Cela m'a appris à apprécier le caractère unique de chacun. Nous avons capturé des personnes aux coiffures exagérées et à une personne portant une casquette d'électroencéphalographie. Nous avons scanné des personnes avec des boucles d'oreilles, des anneaux à lobes, des anneaux de nez et bien plus encore », déclare Yu. «Nous devons capturer tous ces signaux subtils pour que tout fonctionne correctement. C'est à la fois un défi et un pouvoir, parce que nous travaillons pour que vous soyez vous-même », poursuit Yu.

.IRPP_kangoo, .IRPP_kangoo .postImageUrl, .IRPP_kangoo .imgUrl, .IRPP_kangoo .centered-text-area {hauteur minimale: 100px; position: relative; } .IRPP_kangoo, .IRPP_kangoo: survol, .IRPP_kangoo: visité, .IRPP_kangoo: actif {border: 0! Important; } .IRPP_kangoo {display: block; transition: couleur de fond 250ms; webkit-transition: couleur d'arrière-plan 250 ms; largeur: 100%; opacité: 1; transition: opacité 250ms; webkit-transition: opacité 250ms; Couleur de fond:

Sheikh affirme qu'il reste encore beaucoup de défis à relever en cours de route. Un gros problème qui se profile à l'horizon est celui de "faire semblant", ou de recréer l'apparence ou la voix d'une personne pour tromper les autres.

«Deepfakes est une menace existentielle pour notre projet de téléprésence, car la confiance est intrinsèquement liée à la communication», explique Sheikh. «Si vous entendez la voix de votre mère lors d'un appel, vous ne doutez pas du tout que ce qu'elle a dit est ce que vous avez entendu. Vous avez cette confiance malgré le fait que sa voix est perçue par un microphone bruyant, compressé, transmis sur plusieurs kilomètres, reconstituée de l'autre côté et jouée par un haut-parleur imparfait. "

Sheikh affirme qu'il ne nous reste que quelques années avant de voir ce niveau de photoréalisme d'avatar, bien que le laboratoire explore actuellement l'idée de sécuriser les futurs avatars via un compte authentique, ainsi que plusieurs options de vérification de sécurité et d'identité pour les futurs appareils.

Abrash dit que nous aurons plus de billets de blog sur l'optique et les écrans, la vision par ordinateur, l'audio, les graphiques, l'interaction haptique, l'interface cerveau / ordinateur et le suivi des yeux / des mains / du visage / du corps.

La publication Facebook montre des recherches visant à produire des avatars véritablement réalistes est apparue en premier sur Road to VR.