Menu Fermer

Facebook Open-Sources sa plate-forme d'IA DeepFocus pour améliorer le rendu visuel VR

Facebook Reality Labs (FRL) a expérimenté différentes méthodes pour améliorer le réalisme de la réalité virtuelle (VR), à la fois par des moyens matériels et logiciels. En mai, lors de la Facebook Developers Conference (F8) 2018, la société a dévoilé Half Dome, un prototype de casque doté d'un mécanisme à focale variable. Le laboratoire a maintenant révélé DeepFocus, une plate-forme basée sur l'IA conçue pour rendre le flou en temps réel et à différentes distances focales.

Deep Focus demo

Ce que Deep Focus et Half Dome essaient de réaliser est quelque chose que nos yeux font naturellement, un effet de défocalisation. Comme le montre l'illustration ci-dessus, lorsque nos yeux regardent des objets à différentes distances, tout ce sur quoi ils ne sont pas concentrés est flou et flou. Bien que cela puisse sembler simple, essayer de reproduire l’effet en réalité virtuelle n’est pas une tâche facile, mais sa création présente de nombreux cas d’utilisation pour la technologie.

Le premier est le but d'expériences réellement réalistes au sein de la réalité virtuelle. «Notre objectif final est de fournir des expériences visuelles qui ne se distinguent pas de la réalité», explique Marina Zannoli, scientifique en vision chez FRL via le blog Oculus. «Nos yeux ressemblent à de minuscules caméras: lorsqu'elles se concentrent sur un objet donné, les parties de la scène qui se trouvent à une profondeur différente paraissent floues. Ces régions floues aident notre système visuel à donner un sens à la structure tridimensionnelle du monde et nous aident à décider où concentrer nos yeux. Alors que les casques VR à focale variable peuvent produire une image nette où que le spectateur ait l'air, DeepFocus nous permet de restituer le reste de la scène telle qu'elle se présente dans le monde réel: naturellement floue. "

Un autre aspect important de DeepFocus est le confort. Plus la VR est naturelle, plus elle est facile à utiliser. «Il s'agit d'une immersion d'une journée complète», déclare Douglas Lanman, directeur de la recherche sur les systèmes d'affichage chez FRL. “Que vous jouiez à un jeu vidéo pendant des heures ou que vous regardiez un tableur ennuyeux, une fatigue visuelle, une fatigue visuelle et juste une belle image avec laquelle vous êtes prêt à passer votre journée, tout cela compte.”

Oculus Half Dome

Bien que FRL utilise actuellement DeepFocus avec Half Dome, le logiciel a été conçu pour être indépendant de la plate-forme. C’est pourquoi l’équipe DeepFocus a ouvert le sourcing au travail et au jeu de données pour les ingénieurs développant de nouveaux systèmes VR, les scientifiques de la vision et d’autres chercheurs étudiant la perception. À mesure que de nouvelles mises à jour de FRL seront publiées, VRFocus vous le fera savoir.