Menu Fermer

Algorithme DeepFocus de sources ouvertes Facebook pour un rendu VR plus réaliste et varifocal

DeepFocus est le moteur de rendu basé sur l'IA de Facebook et censé produire un flou naturel en temps réel, ce qui est prêt à aller de pair avec les affichages à focale variable de demain. Aujourd'hui, Facebook a annoncé que DeepFocus deviendrait open source. Bien que le prototype «Half Dome» de la société, à champ large de vision (FOV), puisse être propriétaire, son outil d'apprentissage en profondeur sera «agnostique vis-à-vis du matériel».

Lorsque vous tenez la main devant vous, vos yeux convergent et s'adaptent naturellement, mettant ainsi votre main au centre. L’expérience de ce phénomène n’est pas la même dans les casques de réalité virtuelle d’aujourd’hui, car la lumière provient d’une source fixe, vous plongeant dans l’observation des yeux pour résoudre les images en champ proche. C'est ici qu'interviennent les affichages à focale variable et le suivi des yeux, car la focale, une fois fixée, devient variable pour correspondre à vos yeux, en fonction de l'endroit où vous regardez, à un moment donné.

Essentiellement, il vous permettra de vous concentrer sur des objets quelle que soit leur distance, ce qui rend l'expérience globale plus confortable et plus immersive. Mais la pièce manquante du puzzle ici est la capacité du casque à reproduire également le flou de défocalisation d'apparence naturelle, ce qui se produit lorsque vous vous concentrez sur votre main et que l'arrière-plan devient flou. Entrez DeepFocus.

 

Dans un article de recherche présenté au SIGGRAPH Asia 2018, Deepfocus est inspiré par «de plus en plus de preuves du rôle important joué par le flou de défocalisation rétinienne dans la génération de réponses accommodatives, ainsi que par la perception de profondeur et de réalisme physique».

Contrairement aux systèmes d’intelligence artificielle plus traditionnels utilisés pour l’analyse approfondie d’images basée sur l’apprentissage, DeepFocus est censé traiter les images tout en maintenant les résolutions d’image ultra-nettes nécessaires à une RV de haute qualité.

.IRPP_kangoo, .IRPP_kangoo .postImageUrl, .IRPP_kangoo .imgUrl, .IRPP_kangoo .centered-text-area {hauteur minimale: 100px; position: relative; } .IRPP_kangoo, .IRPP_kangoo: survol, .IRPP_kangoo: visité, .IRPP_kangoo: actif {border: 0! Important; } .IRPP_kangoo {display: block; transition: couleur de fond 250ms; webkit-transition: couleur d'arrière-plan 250 ms; largeur: 100%; opacité: 1; transition: opacité 250ms; webkit-transition: opacité 250ms; Couleur de fond:

Cela signifie non seulement que les casques VR à focale variable et même les casques AR avec affichages de champ lumineux auront l'air plus réalistes, ils atténueront également la fatigue oculaire associée aux conflits d'accommodation de vergence.

«Il a été démontré que ce réseau synthétisait avec précision le flou de défocalisation, les empilements focaux, les décompositions multicouches et les images à vues multiples en utilisant uniquement les images RVB-D couramment disponibles, permettant des représentations en temps réel et presque correctes du flou rétinien avec un large éventail de HMD prenant en charge l'hébergement , Disent les chercheurs de Facebook.

Aujourd'hui, Facebook publiera les données sources et de formation sur le réseau neuronal «pour les ingénieurs qui développent de nouveaux systèmes de RV, les scientifiques de la vision et les autres chercheurs qui étudient la perception», indique la société dans un blog.

Présentant DeepFocus sur Oculus Connect 5, le scientifique en chef du Reality Lab de Facebook, Michael Abrash, a déclaré que si Half Dome et DeepFocus ne constituaient pour l’essentiel que «un début pour l’optique et les écrans, c’est l’affiche du progrès accéléré».

La publication sur Facebook de l'algorithme DeepFocus Open-sources pour un rendu VR plus réaliste et varifocal est apparue en premier sur Road to VR.