Menu Fermer

Apple annonce l'ARKit 3 avec suivi du corps

Lors de la conférence annuelle des développeurs WWDC organisée par la société aujourd'hui, Apple a dévoilé ARKit 3, son dernier ensemble d'outils de développement permettant de créer des applications AR sur iOS. ARKit 3 offre désormais un suivi du corps en temps réel des personnes présentes sur la scène ainsi que l'occlusion, ce qui permet aux objets RA d'être placés de manière convaincante devant et derrière ces personnes. Apple a également introduit Reality Composer et RealityKit pour aider les développeurs à créer des applications de réalité augmentée.

Aujourd'hui, lors de la conférence d'ouverture de la WWDC à San Jose, Apple a révélé ARKit 3. Introduit pour la première fois en 2017, ARKit est une suite d'outils permettant de créer des applications AR sur iOS.

Depuis le début, ARKit propose un système de suivi de vision par ordinateur qui permet aux appareils iOS modernes de suivre leur position dans l’espace et de détecter des plans plats comme le sol ou une table plate pouvant être utilisés pour placer des objets virtuels dans la scène. Avec ARKit 3, le système prend désormais en charge la capture de mouvement et l’occlusion de personnes.

Occlusion humaine

En utilisant la vision par ordinateur, ARKit 3 comprend la position des personnes sur la scène. Savoir où se trouve la personne permet au système de composer correctement des objets virtuels par rapport à de vraies personnes dans la scène, en rendant ces objets devant ou derrière la personne en fonction de ce qui est le plus proche de la caméra. Dans les versions précédentes d'ARKit, les objets virtuels apparaissaient toujours «au-dessus» de quiconque dans la scène, quel que soit leur degré de proximité avec la caméra. Cela briserait l'illusion de la réalité augmentée en montrant des indices de profondeur contradictoires.

Une technologie similaire est utilisée pour suivre le corps en temps réel dans ARKit 3. En sachant où se trouvent les personnes dans la scène et comment leur corps bouge, ARKit 3 suit une version virtuelle du corps de cette personne, qui peut à son tour être utilisée comme entrée pour le RA. app. Le suivi du corps peut être utilisé pour traduire les mouvements d'une personne dans l'animation d'un avatar, pour interagir avec des objets dans la scène, etc.

D'après les images que Apple a montrées de leur technologie de suivi du corps, il semble assez grossier à ce stade. Même avec des mouvements mineurs de la caméra, les pieds de l'avatar ne restent pas particulièrement immobiles pendant que le reste du corps bouge, et les petits mouvements des jambes ne sont pas bien suivis. Lorsque vous agitez, l'avatar peut basculer en réponse au mouvement, même si l'utilisateur ne le fait pas. Dans la séquence de démonstration, l'utilisateur garde ses bras complètement sur les côtés et ne les déplace jamais sur son torse (ce qui présenterait un scénario de capture de mouvement plus difficile).

Pour l'instant, cela pourrait sûrement être utile pour quelque chose de simple, comme une application qui permet aux personnages de marionnettistes et d'enregistrer une histoire avec des avatars AR. Espérons que cela s'améliorera avec le temps et deviendra plus précis pour permettre plus d'utilisations. Il est probable qu'il s'agisse d'une simple démonstration "hello world" utilisant des informations de suivi brutes; une plate-forme d'avatar plus complexe pourrait intégrer intelligemment à la fois la saisie de mouvement et la physique pour créer une animation plus réaliste et générée de manière procédurale.

.IRPP_kangoo, .IRPP_kangoo .postImageUrl, .IRPP_kangoo .imgUrl, .IRPP_kangoo .centered-text-area {hauteur minimale: 100px; position: relative; } .IRPP_kangoo, .IRPP_kangoo: survol, .IRPP_kangoo: visité, .IRPP_kangoo: actif {border: 0! Important; } .IRPP_kangoo {display: block; transition: couleur de fond 250ms; webkit-transition: couleur d'arrière-plan 250 ms; largeur: 100%; opacité: 1; transition: opacité 250ms; webkit-transition: opacité 250ms; Couleur de fond:

L’occlusion humaine et le suivi du corps seront tous deux importants pour l’avenir de la RA, en particulier avec des dispositifs portés à la tête qui seront toujours allumés et devront constamment faire face aux occlusions pour rester immersifs tout au long de la journée. Ceci est une zone active de R

Apple n'entre pas dans les détails mais énumère une poignée d'autres améliorations dans ARKit 3:

Caméras avant et arrière simultanées Capture de mouvement Chargement d'image de référence plus rapide Taille de l'image automatiquement détectée Cohérence visuelle Détection d'objet 3D plus robuste Occlusion des personnes Enregistrement vidéo en AR Look rapide Apple Pay en AR Quick Look Suivi multi-faces Session collaborative Collaboration Prise en charge audio en AR Quick Look Detect jusqu'à 100 images Textures d'environnement HDR Prise en charge de plusieurs modèles dans AR Aperçu rapide Interface d'interface utilisateur AR Coaching

RealityKit

Image fournie par Apple

Avec ARKit 3, Apple a également introduit RealityKit, conçu pour permettre aux développeurs de créer plus facilement des applications de réalité augmentée sur iOS.

La création d'applications AR nécessite une solide compréhension du développement, des outils et des flux de travail des applications 3D – une chose pour laquelle une grande partie des développeurs iOS (qui construisent généralement des applications «plates») n'ont probablement pas beaucoup d'expérience. Les développeurs sont donc moins enclins à se lancer dans quelque chose de nouveau, comme AR, et Apple tente clairement d’aider à faciliter cette transition.

D'après la description d'Apple, RealityKit ressemble presque à un moteur de jeu miniature, comprenant «un rendu photoréaliste, des effets de caméra, des animations, la physique, etc.». Plutôt que de demander aux développeurs iOS d'apprendre des outils de moteur de jeu tels que Unity ou Unreal Engine, Apple espère qu’il sera plus facile et plus familier pour ses développeurs.

.IRPP_kangoo, .IRPP_kangoo .postImageUrl, .IRPP_kangoo .imgUrl, .IRPP_kangoo .centered-text-area {hauteur minimale: 100px; position: relative; } .IRPP_kangoo, .IRPP_kangoo: survol, .IRPP_kangoo: visité, .IRPP_kangoo: actif {border: 0! Important; } .IRPP_kangoo {display: block; transition: couleur de fond 250ms; webkit-transition: couleur d'arrière-plan 250 ms; largeur: 100%; opacité: 1; transition: opacité 250ms; webkit-transition: opacité 250ms; Couleur de fond:

Avec RealityKit, Apple promet également un rendu de premier ordre. Bien que nous doutions que ce soit qualifié de «photo-réaliste», la société optimise le rendu des objets virtuels pour qu'ils s'intègrent de manière aussi convaincante que possible dans le monde réel via la caméra d'un périphérique iOS en superposant les effets sur des objets virtuels comme s'ils étaient réellement. vraiment capturé à travers la caméra.

«RealityKit associe de manière transparente le contenu virtuel au monde réel en utilisant des matériaux réalistes, des réflexions sur l’environnement, des ombres sur le fond, le bruit de la caméra, un flou de mouvement, etc., rendant ainsi le contenu virtuel presque impossible à distinguer de la réalité», écrit Apple.

RealityKit, qui utilise une API Swift, prend également en charge la création d’expériences AR partagées sur iOS en proposant une solution réseau prête à l'emploi.

Compositeur de réalité

Image fournie par Apple

Tout comme RealityKit, Reality Composer vise à simplifier les choses pour les développeurs non expérimentés avec les moteurs de jeu, les flux de travail et les actifs. Apple affirme que Reality Composer propose une bibliothèque de modèles et d'animations 3D existants avec une facilité de glisser-déposer, ce qui permet de créer des expériences de RA simples pouvant s'intégrer aux applications à l'aide de Xcode ou être exportés au format AR Quick Look (qui permet aux applications iOS intégrées telles que Safari, Messages, Mail, etc., pour visualiser rapidement des objets 3D à l’échelle en utilisant la réalité augmentée).

Outre la bibliothèque d'objets intégrée, Reality Composer permet également d'importer des fichiers 3D au format USDZ et offre une solution audio spatiale.

Apple annonce l'ARKit 3 avec suivi du corps