Niantic Labs montre dans une vidéo impressionnante les progrès réalisés dans le domaine de la réalité augmentée

Les développeurs de Pokémon Go viennent de publier une vidéo dans laquelle il dévoile une partie de leur nouvelle technologie de réalité augmentée. On peut notamment y voir un Pikachu interagir de façon extrêmement crédible avec son environnement. Pour l’instant à l’étude, elle permet de deviner à quoi ressembleront les jeux en réalité augmentée dans les prochaines années.

Niantic a montré pour la première fois il y a quelques jours l’une de ses nouvelles technologies de réalité augmentée, nommée Real World Platform. Cette technologie vise à faire comprendre à un ordinateur les éléments de l’environnement qu’il « voit » à travers une caméra ou un film. À l’aide d’un algorithme basé sur des calculs effectués en temps réel par un réseau neuronal, l’ordinateur est capable de « comprendre la réalité » et d’identifier précisément les objets qui l’entourent.


Comme le montre l’image ci-dessus, Niantic a entraîné son algorithme a reconnaître des tables ou des chaises et à prendre en compte leur distance. À terme, Niantic compte lui apprendre à reconnaître de plus en plus d’éléments de la réalité. Quand il en aura assimilé suffisamment, il sera ensuite capable d’y ajouter correctement des objets en réalités augmentées. Comme un Pikachu, par exemple.

Les NPU des smartphones pour améliorer la réalité augmentée

Le résultat de ce travail, vous le voyez dans la vidéo de démonstration présente au début de l’article. Niantic a utilisé Occlusion, une technologie issu de Real World Platform, pour permettre à son algorithme de faire en sorte que Pikachu se déplace correctement dans l’espace. Et le résultat est impressionnant, car Pikachu peut disparaître derrière des pots de fleurs, apparaître correctement entre les jambes des passants et donner la sensation de courir réellement sur le sol.

Niantic ne précise pas sur quelle plateforme tourne sa technologie, mais on imagine qu’un gros PC est derrière pour calculer correctement la position et les interactions de la bestiole. Mais à terme, on pourrait facilement imaginer que les NPU, présents dans les SoC des smartphones pourraient se charger de ces calculs. Ils sont aujourd’hui utilisés afin de reconnaître des objets lorsque l’on utilise l’application photo d’un smarpthone, ils permettront demain d’attraper des Pokémon entre les jambes des passants.