Sony présente les premiers capteurs photo boostés à l’IA

Photo

Par Remi Lou le

Pour l’heure, les capteurs photo produisent des clichés qui sont par la suite analysés par un processeur externe, ou envoyés sur le cloud. Pour la première fois, Sony bouscule les règles et présente des capteurs capables d’effectuer eux-même le traitement de l’image, grâce à une puce d’analyse d’image intégrée. Ces capteurs ne sont toutefois pas destinés au secteur du smartphone pour le moment, mais plutôt à la grande distribution et à l’industrie.

La photographie boostée à l’IA – souvent appelée computational photography chez nos amis anglo-saxons – n’est pas vraiment nouvelle. Depuis des années maintenant, les constructeurs de smartphones parviennent à tirer profit de la puissance des SoC mobiles afin de venir drastiquement améliorer le rendu des clichés capturés à l’aide de minuscules capteurs. Cependant, les capteurs doivent pour cela fonctionner de concert avec une puce mobile, et parfois disposer d’un accès au cloud afin d’y puiser certaines données, et ne s’avèrent en aucun cas autonomes dans leur traitement de l’image. Sony compte bien bousculer cette règle, et présente pour cela les tous premiers capteurs au monde dotés d’intelligence !

Avec les IMX500 et IMX501, Sony pourrait bien changer les règles de la photographie. Ne vous fiez pas à leurs noms « IMX », communs chez le constructeur, ni même au nombre de mégapixels qu’affichent ces capteurs, s’élevant à 12,3 mégapixels. La véritable nouveauté des IMX500 et IMX501, c’est bien la présence, au sein même du capteur, d’une puce capable d’analyser l’image en temps réel. Dans les faits, ces capteurs pourraient ainsi effectuer eux-mêmes les calculs divers visant à améliorer la qualité d’un cliché, sans besoin de recourir à une puce externe. « Cette intégration directement dans le capteur d’images permet non seulement l’accélération du processus d’IA en périphérie du réseau et l’extraction sélective des seules données nécessaires, mais aussi, lors de l’utilisation de services Cloud, la réduction de la latence des transmissions des données, le respect de la vie privée et une diminution de la consommation d’énergie et des coûts de communication » précise Sony dans son communiqué.

Crédits : Sony

Les avantages à traiter les images en interne plutôt qu’en externe sont nombreux. Les signaux acquis par la puce de pixels sont d’abord traités par cet ISP (processeur de signal d’image) boosté à l’IA directement sur la puce logique. Les informations de l’image sont par la suite extraites sous forme de métadonnées bien plus légères qu’à l’accoutumée, permettant ainsi de recourir à moins de puissance, et donc, à économiser de l’énergie. Dans les faits, un smartphone – ou tout autre appareil connecté – équipé de l’un de ces capteurs pourrait utiliser un SoC très modeste, et parvenir à comprendre aussi bien son environnement qu’un appareil équipé de la dernière puce haut de gamme de Qualcomm. Aussi, puisque l’analyse de l’image ne requiert pas accès au cloud, la confidentialité s’avèrerait, en théorie, bien meilleure.

Crédits : Sony

Toutefois, ces capteurs ne sont pas, pour l’instant, destinés au monde du smartphone, mais plutôt aux industriels et à la grande distribution. Utilisé dans ce contexte, cette puce pourrait comprendre d’elle même les éléments à l’image, et ainsi interpréter un code barre, comprendre qu’il s’agit d’un visage, ou encore détecter sur la personne porte un masque, par exemple. « Un magasin pourrait, en effet, n’utiliser qu’un seul type de caméra pour gérer différents lieux, circonstances, événements ou problématiques. À l’entrée de l’établissement, elle pourrait compter le nombre de visiteurs entrant dans l’établissement ; installée sur l’étagère d’un magasin, elle détecterait les ruptures de stock. Montée au plafond, elle réaliserait la cartographie thermique du magasin en détectant les zones d’affluence, et ainsi de suite » explique Sony.

Sony Alpha 7 II Appareil Photo...
  • Le 1er appareil photo plein format au monde avec stabilisation d'image sur 5 axes
  • Mise au point automatique hybride am?lior?e, rapide et efficace
  • Capteur CMOS Exmor plein format 35 mm 24,3 m?gapixels
  • Moteur de traitement d'image BIONZ X. Autonomie de la batterie (photos) : Jusqu'? 350 photos