Cette IA transforme des photos floues en impressionnants portraits HD

© Menon et al., Duke University

Réaliser un cliché flou, cela arrive à tout le monde. Le meilleur appareil photo avec l’autofocus le plus performant n’y changera rien et parfois, il faut tout simplement recommencer sa photo. Du moins pour l’instant, parce qu’à en juger par les résultats produits par l’IA d’une équipe de chercheurs de l’université de Duke, cela pourrait changer ! L’équipe de Sachit Melon a en effet mis au point une intelligence artificielle capable de générer un portrait en haute résolution à partir d’une image extrêmement pixelisée ! Cette technologie baptisée PULSE (Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models) a été développée comme un outil de retouche. Elle semble bien fonctionner puisque d’après les auteurs de l’étude, elle permet de “générer des images réalistes de haute résolution, à une résolution encore jamais vue” à partir d’une vulgaire soupe de pixels. Les chiffres annoncés sont en tout cas impressionnants : leur système pourrait multiplier la résolution d’une image par 64 !

L’outil, disponible sur une page dédiée du site de l’université de Duke, permet en théorie de faire le test soi-même : il vous suffit de vous rendre sur le Google Colab de l’équipe. Sur certains navigateurs, le champ permettant de mettre sa photo en ligne n’apparaît pas par défaut, et il vous faudra d’abord lancer le programme une première fois dans le vide pour le faire apparaître. Malheureusement, l’hébergement d’images fonctionne grâce à Google Drive qui présente une limite de trafic quotidienne. Celle-ci ayant déjà été atteinte aujourd’hui, nous n’avons donc pas pu tester nous-mêmes pour l’instant. Mais les résultats sont impressionnants, à en juger par les résultats publiés par l’université.

Les auteurs Sachit Menon, Alex Damian, McCourt Hu, Nikhil Ravi et Cynthia Rudin se sont prêtés au jeu. En haut, la photo originale. Au milieu, une version pixelisée. En bas, la version reconstruite à partir de la version pixelisée. © Menon et al., Duke University

Certes, les photos produites ne ressemblent pas parfaitement aux originales. La texture des cheveux ou la forme du nez sont par exemple assez variables. Mais les visages produits sont en tout cas impressionnant de réalisme et de cohérence !

Pour réaliser ce tour de force, l’équipe s’est basée sur  un système déjà bien connu, les Generative Adversarial Networks (ou GANs). Schématiquement, il s’agit d’un couple de deux intelligences artificielles déjà entraînées au préalable : un générateur, et un adversaire. La première va, comme son nom l’indique, générer un grand nombre de portraits. La seconde, elle, va servir de sparring partner en essayant de deviner si le portrait produit est une vraie photo ou non. À chaque échec, le générateur va tenter de faire mieux jusqu’à ce qu’il puisse tromper son adversaire. Une fois que cela arrive, nous obtenons un portrait candidat. Cette même technologie a déjà été utilisée dans de nombreuses études ayant trait à l’intelligence artificielle et à l’art. On peut citer GauGAN, dont nous vous parlions l’an dernier, ce projet du MIT nettement moins convaincant, ou même GameGAN, l’IA génératrice de jeux vidéo estampillée NVIDIA.

Un intérêt seulement artistique pour l’instant

À l’heure actuelle, les applications d’un tel système restent cantonnées à l’artistique. On peut aisément imaginer qu’à terme, un système de ce type se retrouve dans certains logiciels de travail de l’image comme Lightroom ou Photoshop. Combinée avec des masques, cette technologie permettrait d’effectuer des retouches importantes en deux temps, trois mouvements. Avec une limite importante cependant : la reconstruction de l’image sera tributaire de la banque de données présente chez l’adversaire. Plus ce dernier aura d’images en stock, plus il sera capable de produire des portraits variés et “organiques”. À l’inverse, avec trop peu d’images, le résultat pourrait systématiquement avoir un air de déjà-vu. Cela a quelques implications : par exemple, un photographe qui souhaiterait retoucher la photo d’un client devrait certainement fournir à l’IA de nombreuses autres photos de ce même client s’il souhaite obtenir les résultats escomptés.

Mais en théorie, les applications ne seraient pas limitées aux portraits. Le système du GAN est plus ou moins universel, tant que l’on dispose d’assez d’images et de temps pour l’entraîner convenablement. On peut donc parfaitement imaginer l’employer dans certains cas où la résolution est un gros, gros facteur limitant. C’est notamment le cas pour des objets de très petite taille ou à très grande distance. Par exemple, en astronomie, il n’est pas rare d’obtenir pour seule image d’un corps céleste un simple amas d’une vingtaine de pixels à peine discernables ! Le même phénomène existe dans le sens inverse, par exemple lorsque l’on cherche à observer l’infiniment petit.

Ultima Thule, un petit objet de 30km situé à 1,9 millions de km… Pas évident à prendre en photo. © Johns Hopkins University Applied Physics Laboratory

Sur le papier, ces techniques d’upsampling pourraient donc être utiles dans de nombreux champs de recherche. Mais il vaut mieux modérer ses attentes, à cause des limitations inhérentes à la nature des GANs. En effet, cette technique est difficilement applicable aux disciplines exploratoires, comme l’astronomie par exemple, car cela implique d’avoir déjà des images d’un objet très semblables, et d’autres très différentes pour que l’adversaire puisse faire son travail de comparaison. En définitive, l’intérêt de telles méthodes telles qu’elles existent aujourd’hui reste limité en sciences car il ne s’agit que d’extrapolations. En somme, il n’est pas possible de créer des données précises à partir de rien et ces GANs jouent donc aux devinettes. Même s’ils y jouent largement mieux que n’importe quel humain, c’est bien souvent trop peu pour servir de preuve rigoureuse. Reste à voir sous quelle forme ces technologies pourraient être utilisées dans le quotidien du grand public et des scientifiques.