Découvrez L'Art De L'Édition
Téléphones

Le NPU d’imagerie MariSilicon X d’OPPO amplifie la vidéo nocturne pour les nouveaux smartphones Find X5

Le NPU d'imagerie MariSilicon X d'OPPO amplifie la vidéo nocturne pour les nouveaux smartphones Find X5

Alors que les smartphones d’aujourd’hui capturent des images et des vidéos assez étonnantes, il existe encore de nombreuses situations où ils ne sont pas entièrement préparés, en termes de reproduction des couleurs, de détails et de netteté. Par exemple, un moment précieux de la fête d’anniversaire d’un ami avec des bougies allumées, une vidéo de vos enfants sur la plage avec le coucher de soleil rétro-éclairé, ou des photos et vidéos pour votre Instagram ou TikTok.

OPPO change le jeu de l’imagerie pour les smartphones haut de gamme. Au lieu d’exécuter des algorithmes d’IA et des modèles d’apprentissage automatique sur un SoC de smartphone, l’entreprise a développé sa propre puce dédiée à la photographie computationnelle, la MariSilicon X Imaging NPU (Neural Processing Unit).Basée sur un processus en 6 étapes de nanomètres, la MariSilicon X est conçu pour offrir des performances supérieures et une consommation d’énergie réduite pour les vidéos à faible luminosité, des détails à contraste élevé aux extrémités lumineuses et sombres, un aperçu vidéo en temps réel, une action nette avec un faible bruit, etc.

Le MariSilicon X fait sa première apparition dans les nouveaux smartphones de la série Find X5 d’OPPO, qui seront disponibles à partir de mars 2022 en Europe.

MariSilicon X, un NPU dédié à l’imagerie des smartphones de nouvelle génération

MariSilicon X représente une étape majeure dans plus d’une décennie de recherche et développement d’OPPO pour améliorer la technologie d’imagerie des smartphones.

Au cours du second semestre de 2019, selon Jun Luo, directeur de l’imagerie chez OPPO, « nous avons réalisé que seul un NPU d’imagerie dédié optimisé pour l’imagerie informatique à haute vitesse et à faible consommation d’énergie pouvait fournir la puissance et l’efficacité requises pour des tâches comme la nuit . temps de capture vidéo ».

Au cours du processus de R&D, « nous avons résolu trois problèmes : la bande passante, l’optimisation de l’opérateur en termes de consommation d’énergie et la séquence temporelle, pour libérer tout le potentiel du développement de la réduction du bruit de l’IA (AINR). Appartenant à OPPO », a ajouté Luo. .

Le chipset MariSilicon X combine une unité de traitement neuronal, un FAI Ultra-HDR et une architecture de mémoire multiniveau avancée qui permet aux données de rester sur la puce pendant le traitement et évite d’avoir à partager la bande passante du réseau avec d’autres applications.


Source : Oppo

Le résultat, précise Jun Luo : « MariSilicon X peut effectuer 18 billions d’opérations INT8 par seconde (TOPS), à 11,6 TOPS par watt, et se retrouve avec des performances vidéo 4K AI jusqu’à 20 fois plus rapides. » Par conséquent, les utilisateurs peuvent capturer des vidéos 4K Ultra Night avec la série Find X5, tandis que les autres concurrents ne peuvent filmer que des vidéos de nuit 1080p, ce qui signifie une amélioration de 4 fois la résolution vidéo.

Les avantages d’un NPU d’imagerie

L’utilisation de MariSilicon X offre des améliorations vidéo et d’images fixes, notamment :

  • Vidéo 4K Ultra Night avec aperçu en direct. En effectuant un traitement RAW 20 bits et une fusion RAW au niveau des pixels en temps réel, le NPU d’imagerie MariSilicon X d’OPPO peut améliorer le rapport signal/bruit de 8 dB dans les images, contribuant ainsi à une clarté 4K réaliste et à la pointe de l’industrie à 30 ips. . -capacité de traitement du temps – et permet aux utilisateurs de voir à quoi ressemblera l’image avant de la capturer.
  • Amélioration 4x de la résolution vidéo nocturne perçue, moins de grain et une reproduction supérieure des couleurs, plus de détails de la scène. Selon Jun Luo, « Cela rend la vidéo 4K Ultra Night possible pour la première fois sur un smartphone Android, avec chaque image aussi propre qu’une photo fixe. »
  • Le mode vidéo ultra sombre garantit un sujet clair et une tonalité naturelle dans des environnements extrêmement peu éclairés, inférieurs à 5 lux, tels que des poissons nageant dans une faible lumière ambiante.

Grâce à MariSilicon X, les fonctions HDR peuvent être appliquées au traitement en temps réel du domaine RAW pour la capture vidéo Ultra HDR 20 bits, une amélioration 4x par rapport au reste de la concurrence.

  • L’algorithme de mélange HDR de MariSilicon X prend en charge une plage dynamique très élevée, jusqu’à 20 arrêts, ce qui donne de meilleures images à contraste élevé, comme si une photo d’un coucher de soleil brillant capturait non seulement les détails fins des lumières dans les couleurs intenses du ciel, plutôt que lavé. -zones, mais aussi des détails de premier plan qui seraient autrement ombragés.
  • Moins d’artefacts fantômes sur les sujets en mouvement en vidéo 4K, grâce au DOL-HDR (Digital Overlay (DOL) HDR), qui capture deux images simultanément, pour des images HDR en temps réel sans artefacts fantômes.

Le MariSilicon X est également très économe en énergie.

  • Économies d’énergie significatives en exécutant l’algorithme AI Noise Reduction (AINR) d’OPPO. Sur le smartphone Find X3 alimenté par Snapdragon 888 d’OPPO, l’algorithme fonctionne à 2 ips et consomme 1693 mW d’énergie. En el teléfono inteligente Find X5 Series compatible con MariSilicon X de OPPO, el mismo algoritmo se ejecuta tanto en Find X5 como en Find X5 Pro a 40 fps, 20 veces la velocidad, mientras consume unos parsimoniosos 797 mW, menos de la mitad de la énergie.

De plus, le fait que le NPU optimise les données du capteur RAW pour HDR/SNR à l’avant du pipeline peut, selon OPPO, réduire considérablement la charge de traitement du signal back-end, laissant plus de puissance pour la couleur et d’autres tâches de réglage d’image.

« Une image, depuis sa capture par le capteur jusqu’à ce qu’elle devienne une image que l’utilisateur final obtient, passe par tout un processus, mais nous pensons que de nombreux problèmes peuvent être résolus en insérant d’abord une NPU dans ce processus. C’est l’une des raisons les plus importantes pour une NPU dédiée. « Essayer de faire tout cela sur le processeur du smartphone ne serait pas adapté à la vidéo 4K à 30 ips », déclare Jun Luo. « Désormais, au lieu de traiter seulement deux images par seconde, nous pouvons traiter à plus de 30 ips, ce que la vidéo 4K et la prévisualisation en temps réel exigent. »

L’algorithme AINR est intégré dans la conception physique du NPU, et tous les porteurs ont été conçus autour de l’algorithme pour optimiser la consommation d’énergie. « Dans ce processus, nous optimisons l’adaptabilité du transporteur, la puissance de calcul et l’efficacité pour atteindre l’optimum, et finalement atteindre 4K @ 30fps via le NPU », explique Jun Luo.

Le résultat est des vidéos plus claires, plus détaillées et plus précises avec moins de bruit.

MariSilicon X marque la nouvelle ère de la photographie numérique

En utilisant un NPU d’imagerie dédié au lieu des approches précédentes, OPPO a été en mesure d’améliorer considérablement les performances de la photographie informatique et la qualité de l’image, permettant des détails supérieurs sur les sujets à contraste élevé et à faible luminosité, et tout cela sans compromettre la durée de vie de la batterie, la taille du système. ou poids, ou prix.

Ces nouvelles capacités d’imagerie informatique apportent des améliorations spectaculaires aux nouveaux smartphones phares de la série Find X5 d’OPPO, ce qui permet aux appareils de se démarquer de la concurrence.

Les capacités d’imagerie étant à l’origine d’une grande partie de la différenciation et de la valeur des smartphones haut de gamme d’aujourd’hui et de demain, l’amélioration des performances d’enregistrement photo et vidéo grâce à la photographie numérique est devenue plus importante que jamais.

À plus long terme, en tant que NPU discret, MariSilicon X permettra à OPPO de continuer à améliorer, ajouter et faire évoluer les fonctionnalités d’imagerie de ses smartphones. En termes simples, cela change la donne.

On pourrait donc dire que l’avenir de la photographie computationnelle compatible avec l’IA, alimentée par le NPU d’imagerie dédié MariSilicon X d’OPPO, continuera à être plus beau que jamais.

Pour en savoir plus sur la série Find X5, veuillez visiter Site web de l’OPPO.