Sony présente sa nouvelle exclusivité mondiale : des capteurs à vision intelligente dotés de fonctionnalités de traitement par IA

Sony Corporation annonce aujourd’hui la commercialisation imminente de deux modèles de capteurs à vision intelligente, les tout premiers capteurs d’images au monde à intégrer des fonctionnalités de traitement par IA^1. Cette intégration directement dans le capteur d’images permet non seulement l’accélération du processus d’IA en périphérie du réseau et l’extraction sélective des seules données nécessaires, mais aussi, lors de l’utilisation de services Cloud, la réduction de la latence des transmissions des données, le respect de la vie privée et une diminution de la consommation d’énergie et des coûts de communication.

Ces produits ouvrent de nouveaux horizons dans le domaine du développement d’appareils équipés d’IA, avec un large spectre d’applications dans les secteurs du commerce de détail et de l’équipement industriel, mais aussi en matière d’optimisation de systèmes connectés au cloud.

 Capteurs à vision intelligente : IMX500 (à gauche) et IMX501 (à droite)

Les nouveaux capteurs Sony présentent une configuration empilée composée d’une puce pixel et d’une puce logique. Ils sont les premiers au monde à intégrer une fonctionnalité d’analyse et de traitement des images par IA dans la puce logique. Le signal acquis par la puce de pixels est traité par IA sur le capteur : il permet ainsi de se passer de processeurs haute performance ou de mémoire externe et d’élaborer des systèmes d’IA en périphérie du réseau. Grâce à la génération de métadonnées (informations sémantiques appartenant aux données d’images) au lieu d’informations d’images, le capteur favorise la réduction du volume d’informations et le respect de la vie privée. En outre, l’intégration de l’IA permet de diversifier les fonctionnalités offertes et de proposer des applications polyvalentes, telles que le suivi d’objets en temps réel avec un traitement par IA à grande vitesse. Enfin, il est possible de choisir différents modèles d’IA par réécriture de la mémoire interne pour les adapter aux besoins de l’utilisateur ou aux conditions du lieu d’utilisation.L’expansion de l’IoT a entraîné la connexion au Cloud de dispositifs polymorphes, ainsi que la banalisation de systèmes qui traitent, dans le Cloud et grâce à l’IA, les informations obtenues de ces dispositifs. Mais le foisonnement des informations traitées dans le Cloud pose différents problèmes : une latence plus importante au niveau de la transmission des données qui entrave le traitement en temps réel des informations, une inquiétude croissante des utilisateurs concernant la sécurité du stockage de leurs données personnelles et d’autres problèmes liés à l’augmentation de la consommation d’énergie et des coûts de communication des services Cloud.

Caractéristiques principales

Le premier capteur d’images au monde avec une fonction d’IA embarquée

La puce de pixels est rétro-éclairée et dispose d’environ 12,3 mégapixels effectifs pour capturer des informations sur un grand angle de vue. En complément du circuit du capteur d’images classique, la puce logique est dotée d’un processeur de signal numérique (DSP) original de Sony dédié au traitement du signal par IA et de la mémoire pour le modèle d’IA. Cette configuration permet de se passer de processeurs haute performance ou de mémoire externe, et de créer des systèmes d’IA en périphérie du réseau.

Sortie de métadonnées

Les signaux acquis par la puce de pixels sont d’abord traités par un ISP (processeur de signal d’image) et l’IA sur la puce logique ; les informations extraites étant produites sous forme de métadonnées, les données à traiter sont moindres. En outre, ce processus permet de diminuer les risques de sécurité et d’améliorer la protection de la vie privée en s’assurant que les informations des images ne sont pas transmises.En plus de l’image enregistrée par le capteur d’image traditionnel, les utilisateurs peuvent adapter le format de sortie des données à leurs besoins et à leur utilisation en optant pour un format de sortie ISP (YUV/RVB) ou en choisissant des extractions d’une zone d’intérêt spécifique (ROI).

Traitement par IA à grande vitesse

Lorsqu’une vidéo est enregistrée à l’aide d’un capteur d’images traditionnel, il est nécessaire d’envoyer les données de chaque image de sortie pour les traiter par IA. Cette procédure augmente le volume de données transmis et ralentit les performances en temps réel. Mais les nouveaux capteurs Sony effectuent un traitement ISP et un traitement IA à grande vitesse (3,1 millisecondes pour MobileNet V1[2]) sur la puce logique, et exécutent ainsi l’ensemble du processus en une seule vidéo. Cette conception permet d’assurer un suivi des objets de haute précision et en temps réel tout en enregistrant la vidéo.

Exemple de suivi en temps réel d’un produit et d’une tâche à un caisse

Flexibilité des modèles d’IA

Les utilisateurs peuvent mettre à jour la mémoire intégrée du capteur avec les modèles d’IA de leur choix pour s’adapter aux besoins et conditions du lieu d’utilisation. Cette possibilité apporte une grande polyvalence. Un magasin pourrait, en effet, n’utiliser qu’un seul type de caméra pour gérer différents lieux, circonstances, événements ou problématiques. A l’entrée de l’établissement, elle pourrait compter le nombre de visiteurs entrant dans l’établissement ; installée sur l’étagère d’un magasin, elle détecterait les ruptures de stock.

Montée au plafond, elle réaliserait la cartographie thermique du magasin en détectant les zones d’affluence, et ainsi de suite. En outre, le modèle d’IA de chaque caméra peut être réécrit pour, par exemple, passer de la cartographie thermique à l’identification du comportement des consommateurs.

Exemple d’utilisation de caméras dans un établissement

Caractéristiques principales

[1]Parmi les capteurs d’image. Selon l’étude Sony (en date de l’annonce du 14 mai 2020).

[2] MobileNet V1 : un modèle d’analyse d’image par IA pour la reconnaissance d’objets sur les appareils mobiles.