Le Pixel 3 va utiliser du machine learning pour son mode portait

Photo

Par Corentin le

Google développe un algorithme de machine learning pour le mode portrait de son Pixel 3, qui ne dispose que d’une seule caméra dorsale.

Le Pixel 3 est l’un de rares téléphones à disposer d’un mode portrait avec une seule caméra dorsale. Si le résultat est déjà convaincant, Google compte bien l’améliorer à l’aide du machine mearning.

L’IA plus performante que deux caméras ?

Le nouveau chantier de développement dans lequel se lance Google pour son Pixel 3 vise à perfectionner son mode portrait. Pour y parvenir, Google utilise du machine learning pour que l’algorithme soit en mesure d’estimer correctement la profondeur de champ sans seconde caméra. L’algorithme va alors se baser sur deux paramètres pour pouvoir estimer la profondeur de champ et la distance qui sépare le visage de la personne de l’arrière-plan.

Dans un premier temps, l’algorithme va d’abord se fier aux zones naturellement moins nettes autour du visage, dû à la mise au point faite sur ce dernier et évaluer l’intensité du flou pour estimer la distance de l’arrière-plan. Dans un second temps, l’algorithme se base également sur la taille approximative des éléments communs situés en arrière-plan, tels qu’une chaise ou une voiture. Par comparaison à la taille du visage, l’algorithme sera alors en mesure d’estimer précisément la distance qui sépare la personne de l’arrière-plan.

L’algorithme utilise TensorFlow Lite, une solution de machine learning efficiente qui peut être exécutée sur des appareils mobiles, et très rapidement sur le Pixel 3 compte tenu de ses performances. Ainsi, par comparaison avec le modèle de base, l’algorithme produit un effet “bokeh” très propre, rapide, et surtout réaliste en tenant compte de l’environnement de la scène.