13 juillet 2020

L’outil Facebook convertit les photos du smartphone en images 3D en un clin d’œil

Une équipe de chercheurs de Facebook a créé un système de bout en bout qui aide les utilisateurs à transformer les photos qu’ils prennent sur leur smartphone en images 3D en quelques secondes.

Le nouveau cadre offre aux utilisateurs une approche plus pratique de la photographie en 3D, répondant à plusieurs objectifs de conception.

Les utilisateurs peuvent accéder à cette nouvelle technologie via leur propre appareil mobile et la conversion en temps réel d’une image d’entrée 2D en 3D se fait de manière transparente, ne nécessitant aucune compétence photographique sophistiquée.

Le traitement ne prend que quelques secondes et la méthode est suffisamment robuste pour fonctionner sur presque toutes les photos, qu’elles soient nouvelles ou déjà prises.

Au cours du siècle dernier, la photographie a connu plusieurs “améliorations” technologiques qui ont augmenté le niveau d’immersion.

“Au départ, toutes les photos étaient en noir et blanc et avec du grain, puis est venue la photographie couleur, et enfin la photographie numérique nous a apporté des images de meilleure qualité et de meilleure résolution”, a déclaré Johannes Kopf, auteur principal du travail et chercheur sur Facebook.

“Enfin, de nos jours, nous avons la photographie en 3D, ce qui donne aux photos une impression beaucoup plus vivante et réelle”.

La technique de la photo 2D à 3D est disponible en tant que “fonctionnalité photos” sur Facebook depuis fin 2018.

Pour profiter de cette fonctionnalité, les utilisateurs de Facebook devaient à l’origine prendre des photos avec un téléphone équipé d’un appareil photo à double objectif.

L’équipe de Facebook a ajouté un algorithme qui automatise l’estimation de la profondeur à partir de l’image 2D d’entrée, et la technique peut être utilisée directement sur n’importe quel appareil mobile.

Pour affiner le nouveau système, les chercheurs ont formé un réseau neuronal convolutif (CNN) sur des millions de paires d’images publiques en 3D et les cartes de profondeur qui les accompagnent, et ont exploité les techniques d’optimisation des téléphones portables développées par Facebook AI.

Le cadre intègre également l’incrustation de texture et la capture de la géométrie de l’image d’entrée 2D pour la convertir en 3D, ce qui donne des images plus actives et plus vivantes.

Chaque étape automatisée qui convertit la photo 2D d’un utilisateur, directement depuis son appareil mobile, est optimisée pour fonctionner sur une variété de marques et de modèles et est capable de fonctionner avec la mémoire et les capacités de transfert de données limitées d’un appareil.

“Les utilisateurs obtiennent une gratification instantanée, car les résultats en 3D sont littéralement générés en quelques secondes”, a déclaré l’équipe.

Les chercheurs de Facebook ont travaillé sur de nouvelles méthodes inventives pour créer des expériences 3D immersives de haute qualité, repoussant les limites de la vision par ordinateur, du graphisme et de l’apprentissage automatique.

Dans ses futurs travaux, l’équipe étudie les méthodes d’apprentissage automatique qui permettent une estimation de la profondeur de haute qualité pour les vidéos prises avec des appareils mobiles.

Les chercheurs de Facebook sont prêts à faire une démonstration de leur système lors de la conférence SIGGRAPH 2020 en août.

–IANS

na/

(Seuls le titre et l’image de ce rapport ont pu être retravaillés par le personnel de Business Standard ; le reste du contenu est généré automatiquement à partir d’un flux syndiqué).