Découvrez L'Art De L'Édition
Téléphones

Comment Samsung utilise un logiciel d’intelligence artificielle pour améliorer le jeu de caméra sur ses smartphones

Comment Samsung utilise un logiciel d'intelligence artificielle pour améliorer le jeu de caméra sur ses smartphones

Image : Samsung

Samsung a appliqué environ 60 nouveaux modèles d’IA gérés par l’unité de traitement neuronal (NPU) pour optimiser les fonctions de l’appareil photo du smartphone Galaxy S22 Ultra, a déclaré un dirigeant de l’entreprise.

Cela a permis au géant sud-coréen de la technologie d’offrir des expériences d’appareil photo qui peuvent satisfaire à la fois les utilisateurs occasionnels avec les meilleures photos possibles et les utilisateurs professionnels avec des fichiers RAW équivalents à ceux pris sur les appareils photo reflex numériques, a déclaré Joshua Sungdae Cho, vice-président et responsable de la R&D des logiciels visuels. au MX Business de Samsung, dans une interview avec ZDNet.

« Nous avons appliqué NPU à nos smartphones pour la première fois il y a trois ans », a déclaré Cho. « À cette époque, ces NPU exécutaient environ 10 modèles d’IA. Sur le Galaxy S22 Ultra, il existe désormais 60 modèles d’IA. Fondamentalement, le NPU est impliqué dans presque toutes les fonctions de l’appareil photo. »

Les modèles d’IA sont des algorithmes de prise de décision formés sur un ensemble de données pour les appliquer à certaines tâches, tandis que les NPU sont des puces spécialement conçues pour traiter de tels algorithmes.

Un modèle d’IA particulier que Samsung a utilisé pour le Galaxy S22 Ultra est le mode portrait, dans lequel il est crucial de reconnaître la profondeur entre la personne et l’arrière-plan afin de les séparer, également appelée segmentation.

« Il est difficile de juger de la profondeur avec des caméras seules. Certaines caméras utilisent des capteurs de profondeur, mais à la place, nous avons demandé à des modèles d’IA d’étudier un grand nombre d’images liées à la profondeur avec divers arrière-plans et objets », a déclaré Cho.

« Puisque nous avons une large gamme de caméras dans le S22, nous avons le modèle AI qui s’entraîne également à l’aide de deux caméras et étudie les images avec des câbles, des tasses, des lunettes dans une variété de conditions », a déclaré le vice-président.

Zoom et photographie de nuit

Les caméras Galaxy S22 Ultra prennent en charge le zoom optique 10x et le zoom numérique 100x. Ce n’est pas le premier modèle à le faire, car Samsung a introduit pour la première fois le zoom numérique 100x il y a deux ans avec le Galaxy S20 Ultra, bien que la réception soit mitigée à l’époque.

Mais avec le développement des nouveaux modèles d’IA, couplé à la puissance de calcul offerte par le processeur mobile 4 nm du dernier Galaxy S22 Ultra, Samsung était convaincu que la dernière version du zoom numérique 100x impressionnerait les utilisateurs, a déclaré le vice-président. .

« Le temps de rendu est essentiel pour une fonctionnalité comme le zoom 100x et nous avons les ressources de calcul pour le gérer. Une partie du travail est effectuée par le NPU et une autre par le GPU. Et tout cela est effectué dans un délai gérable car le zoom est essentiellement une zone spécifique du capteur, par exemple une zone de 12 MP d’un capteur de 108 MP, donc un instantané zoomé reçoit de nombreuses entrées de cette zone plus petite de 12 MP.

« Pour les images prises avec un zoom numérique supérieur à 30x, l’appareil photo prend dix à vingt images d’arrière-plan à la fois. Il procède ensuite à la synthèse des multiples images. Ensuite, il effectue un post-traitement supplémentaire pour déterminer les détails qu’il souhaite améliorer », a déclaré Cho. .

Le capteur d’appareil photo 108 MP du Galaxy S22 Ultra peut également regrouper jusqu’à neuf pixels en un pour mieux absorber la lumière la nuit. Cette technologie est combinée à des modèles d’IA formés pour réduire le bruit et s’assurer que les images ont « la sensation de la nuit » tout en augmentant la luminosité, a déclaré le vice-président.

« Le rapport signal/bruit est gravement affecté lorsqu’il fait sombre. Nous avons donc conçu un nouveau modèle d’IA pour réduire le bruit. Nous avons formé ce modèle d’IA sur diverses photos prises la nuit, de celles prises avec un appareil photo reflex numérique aux images synthétisées que nous créé qui avait intentionnellement augmenté la luminosité ou le bruit. »

Samsung a également changé la façon dont les appareils photo abordent la photographie de nuit en général : « Sur les précédents téléphones Galaxy S avec un appareil photo de 108 MP, nous avons réduit le nombre de pixels à 12 MP, puis agrandi l’image à 108 MP. Pour le Galaxy S22 Ultra, lorsque les photos sont prises de nuit, la photo est prise à la fois par l’appareil photo 108 MP et l’appareil photo 12 MP, les détails grossiers de l’image sont fournis par l’appareil photo 12 MP, tandis que les détails fins sont fournis par le 108 MP ».

s22-ultra-revue-2.jpg

Image : Matthieu Miller

Mise à niveau près du DSLR

Les trois modèles de la série Galaxy S22 offrent des modes automatique et pro dans leur application d’appareil photo habituelle ainsi que dans la version téléchargeable. Application RAW experte qui fournit des fichiers RAW multi-images pouvant être modifiés avec Adobe Lightroom.

« Nous voulions vraiment que les caméras de la série Galaxy S22 couvrent l’utilisateur occasionnel et l’utilisateur professionnel », a déclaré Cho. « Les clients d’aujourd’hui connaissent très bien les appareils photo des smartphones. Ainsi, avec le mode Auto, qui s’adresse à la plupart des utilisateurs, l’optimiseur de scène est activé par défaut pour offrir les meilleures couleurs. » pour les scènes fréquemment prises sur les photos. Nous voulions également que l’écran être clair sans icônes, tandis que les valeurs de la caméra sont maintenant affichées numériquement. Nous voulions que l’interface utilisateur soit aussi simple que possible.

Alors que le mode Pro peut prendre des fichiers RAW, l’application Expert RAW propose des fichiers RAW multi-images 16 bits.

« Nous utilisons pleinement les modèles NPU et AI pour les fichiers RAW 16 bits. Un instantané collectera vingt clichés de l’arrière-plan et les utilisateurs peuvent utiliser jusqu’à quatre caméras pour le modèle Ultra simultanément », a déclaré le vice-président.

Les appareils photo reflex numériques ont de grands capteurs qui leur permettent de prendre des images RAW sans bruit, mais jusqu’à présent, cela a été difficile à émuler pour les appareils photo des smartphones dans des environnements à faible luminosité, car ils incluent des capteurs plus petits. Mais avec la puissance de calcul offerte par le NPU dans la série Galaxy S22, ses fichiers RAW 16 bits correspondent à ceux pris par les appareils photo reflex numériques, selon Cho.

« Les professionnels d’aujourd’hui veulent des fichiers RAW sur leurs smartphones. Un smartphone est un outil très pratique pour eux, car un smartphone peut leur donner quatre objectifs dans la paume de leur main. Avec les appareils photo reflex numériques, vous devez transporter les quatre objectifs. Nous voulions vraiment pour offrir à ce groupe la même expérience de mixage sur nos smartphones que sur un reflex numérique. Toutes les fonctionnalités d’un reflex numérique sont proposées sur la série Galaxy S22, y compris la post-édition.

À la recherche des meilleurs paramètres de caméra

Chaque année, la puissance de traitement des NPU double et cette tendance devrait se poursuivre pendant au moins les cinq prochaines années, a déclaré le vice-président de Samsung.

Les NPU d’aujourd’hui peuvent gérer l’arithmétique 16 bits et l’arithmétique à virgule flottante, et la vitesse et la précision de leur exécution devraient continuer à augmenter dans les années à venir, a déclaré Cho.

Parallèlement à cette augmentation des ressources informatiques, l’évolution de la photographie informatique, ou des techniques de capture et de traitement d’images numériques, devrait continuer à s’améliorer.

« Le sujet le plus discuté dans la photographie numérique est la technologie multi-caméras. Les chercheurs et les entreprises étudient toujours quelle est la meilleure configuration de caméra. Nous pourrions ajouter plus de caméras ou moins de caméras. Nous recherchons toujours la configuration multi-caméras optimale. « , a-t-il dit, le vice-président.

« Les appareils photo sont la pièce maîtresse des smartphones aujourd’hui et nous nous attendons à ce que cette tendance se poursuive au cours de la prochaine décennie. Alors que nous appliquons actuellement 60 modèles d’IA, nous nous attendons à ce que toutes les fonctionnalités de l’appareil photo, alimentées par des centaines d’algorithmes, soient exécutées par le NPU.

« Actuellement, les fichiers RAW 16 bits ont des limites en termes de résolution. Cela nécessitera une amélioration continue. En ce qui concerne les vidéos 4K et 8K, pour améliorer la résolution en temps réel, nous avons besoin d’encore plus de puissance de calcul qu’aujourd’hui. Il faudra d’ici deux à trois ans. »