Des chercheurs de l’Université de Princeton et de l’Université de Washington ont mis au point un appareil photo ultracompact de la taille d’un gros grain de sel. Le système repose sur une technologie appelée métasurface, qui est parsemée de 1,6 million de poteaux cylindriques et peut être produite un peu comme une puce informatique.
Les caméras de petite taille ont un grand potentiel pour détecter les problèmes dans le corps humain et permettre la détection de très petits robots, mais les approches antérieures ont capturé des images floues et déformées avec des champs de vision limités. Aujourd’hui, des chercheurs de l’Université de Princeton et de l’Université de Washington ont surmonté ces obstacles avec une caméra ultracompacte de la taille d’un gros grain de sel. Le nouveau système peut produire des images nettes et en couleur à égalité avec un objectif de caméra composé conventionnel 500 000 fois plus grand en volume, ont rapporté les chercheurs dans un article publié le 29 novembre dans Nature Communications.
Grâce à une conception conjointe du matériel de la caméra et du traitement informatique, le système pourrait permettre une endoscopie mini-invasive avec des robots médicaux pour diagnostiquer et traiter des maladies, et améliorer l’imagerie pour d’autres robots avec des contraintes de taille et de poids. Des matrices de milliers de telles caméras pourraient être utilisées pour la détection de scènes complètes, transformant des surfaces en caméras. Alors qu’un appareil photo traditionnel utilise une série de lentilles en verre ou en plastique incurvées pour focaliser les rayons lumineux, le nouveau système optique repose sur une technologie appelée métasurface, qui peut être produite un peu comme une puce informatique. D’à peine un demi-millimètre de large, la métasurface est parsemée de 1,6 million de poteaux cylindriques, chacun d’environ la taille du virus de l’immunodéficience humaine (VIH).
Chaque poste a une géométrie unique et fonctionne comme une antenne optique. Varier la conception de chaque poste est nécessaire pour façonner correctement l’ensemble du front d’onde optique. À l’aide d’algorithmes basés sur l’apprentissage automatique, les interactions des messages avec la lumière se combinent pour produire des images de la plus haute qualité et le champ de vision le plus large pour une caméra de métasurface en couleur développée à ce jour.
Les caméras micro-taille précédentes (à gauche) capturaient des images floues et déformées avec des champs de vision limités. Un nouveau système appelé nano-optique neuronale (à droite) peut produire des images nettes et en couleur comparables à celles d’un objectif de caméra composé conventionnel. © Princeton University.
Une innovation clé dans la création de la caméra a été la conception intégrée de la surface optique et les algorithmes de traitement du signal qui produisent l’image. Cela a amélioré les performances de la caméra dans des conditions de lumière naturelle, contrairement aux caméras de métasurface précédentes qui nécessitaient la lumière laser pure d’un laboratoire ou d’autres conditions idéales pour produire des images de haute qualité, a déclaré Felix Heide, auteur principal de l’étude et professeur adjoint d’informatique. sciences à Princeton. Les chercheurs ont comparé les images produites avec leur système aux résultats des caméras de métasurface précédentes, ainsi qu’aux images capturées par une optique composée conventionnelle qui utilise une série de six lentilles réfractives. Mis à part un peu de flou sur les bords du cadre, les images de la caméra nanométrique étaient comparables à celles de la configuration d’objectif traditionnelle, qui est plus de 500 000 fois plus volumineuse.
D’autres lentilles de métasurface ultracompactes ont souffert de distorsions d’image majeures, de petits champs de vision et d’une capacité limitée à capturer le spectre complet de la lumière visible – appelée imagerie RVB car elle combine le rouge, le vert et le bleu pour produire différentes teintes. “Cela a été un défi de concevoir et de configurer ces petites nano-structures pour faire ce que vous voulez”, a déclaré Ethan Tseng, un doctorat en informatique à Princeton qui a codirigé l’étude. “Pour cette tâche spécifique de capture d’images RVB à grand champ de vision, il n’était pas clair auparavant comment co-concevoir les millions de nano-structures avec des algorithmes de post-traitement”.
Le co-auteur principal Shane Colburn a relevé ce défi en créant un simulateur informatique pour automatiser les tests de différentes configurations de nano-antenne. En raison du nombre d’antennes et de la complexité de leurs interactions avec la lumière, ce type de simulation peut utiliser “des quantités massives de mémoire et de temps”, a déclaré Colburn. Il a développé un modèle pour approcher efficacement les capacités de production d’images des métasurfaces avec une précision suffisante. Le Co-auteur James Whitehead, un étudiant Ph.D. à l’UW ECE, a quant à lui fabriqué les métasurfaces, qui sont basées sur du nitrure de silicium, un matériau semblable au verre qui est compatible avec les méthodes de fabrication de semi-conducteurs standard utilisées pour les puces informatiques – ce qui signifie qu’une conception de métasurface donnée pourrait être facilement produite en série à un coût inférieur aux objectifs des appareils photo conventionnels.
“Bien que l’approche de la conception optique ne soit pas nouvelle, il s’agit du premier système qui utilise une technologie optique de surface à l’avant et un traitement neuronal à l’arrière”, a déclaré Joseph Mait, consultant chez Mait-Optik et ancien cadre supérieur et chercheur scientifique en chef au US Army Research Laboratory. “L’importance des travaux publiés est de terminer la tâche herculéenne de concevoir conjointement la taille, la forme et l’emplacement des millions de caractéristiques de la métasurface et les paramètres du traitement de post-détection pour obtenir les performances d’imagerie souhaitées”, a ajouté Mait, qui n’était pas impliqué dans l’étude.
Felix Heide et ses collègues travaillent maintenant à ajouter plus de capacités de calcul à la caméra elle-même. Au-delà de l’optimisation de la qualité de l’image, ils aimeraient ajouter des capacités de détection d’objets et d’autres modalités de détection pertinentes pour la médecine et la robotique. Felix Heide envisage également d’utiliser des imageurs ultracompacts pour créer des “surfaces en tant que capteurs”. “Nous pourrions transformer des surfaces individuelles en caméras à ultra haute résolution, de sorte que vous n’auriez plus besoin de trois caméras à l’arrière de votre téléphone, mais tout l’arrière de votre téléphone deviendrait une caméra géante. Nous pouvons penser à des manières complètement différentes de construire des appareils à l’avenir”, a-t-il déclaré.
Outre Ethan Tseng, Shane Colburn, Whitehead, Arka Majumdar et Felix Heide, les auteurs de l’étude incluent Luocheng Huang, un doctoratant à l’Université de Washington; et Seung-Hwan Baek, associé de recherche postdoctoral à Princeton. Le travail a été soutenu en partie par la National Science Foundation, le Département américain de la Défense, le UW Reality Lab, Facebook, Google, Futurewei Technologies et Amazon.
Voir la publication
Tseng, E., Colburn, S., Whitehead, J. et al. Neural nano-optics for high-quality thin lens imaging. Nat Commun 12, 6493 (2021). https://doi.org/10.1038/s41467-021-26443-0