Lundi, un groupe de chercheurs en IA de Google, DeepMind, UC Berkeley, Princeton et ETH Zurich a publié un article décrivant une attaque contradictoire qui peut extraire un petit pourcentage d’images d’entraînement à partir de modèles de synthèse d’images AI à diffusion latente comme Stable Diffusion. Cela remet en question l’opinion selon laquelle les modèles de synthèse d’images ne mémorisent pas leurs données de formation et que les données de formation pourraient rester privées si elles ne sont pas divulguées.

Récemment, les modèles de synthèse d’images d’IA ont fait l’objet d’intenses débats éthiques et même de poursuites judiciaires. Les partisans et les adversaires des outils d’IA générative se disputent régulièrement les implications de ces nouvelles technologies sur la vie privée et le droit d’auteur. Ajouter du carburant à chaque côté de l’argument pourrait affecter considérablement la réglementation légale potentielle de la technologie, et par conséquent, ce dernier article, rédigé par Nicholas Carlini et coll.a éveillé les oreilles dans les cercles de l’IA.

Cependant, les résultats de Carlini ne sont pas aussi clairs qu’ils peuvent le paraître à première vue. La découverte d’instances de mémorisation dans Stable Diffusion a nécessité 175 millions de générations d’images pour les tests et la connaissance préexistante des images entraînées. Les chercheurs n’ont extrait que 94 correspondances directes et 109 quasi-correspondances perceptuelles sur 350 000 images à haute probabilité de mémorisation qu’ils ont testées (un ensemble de doublons connus dans l’ensemble de données de 160 millions d’images utilisé pour former la diffusion stable), ce qui donne environ 0,03 pourcentage de taux de mémorisation dans ce scénario particulier.

De plus, les chercheurs notent que la « mémorisation » qu’ils ont découverte est approximative puisque le modèle d’IA ne peut pas produire de copies identiques octet par octet des images d’entraînement. Par définition, Diffusion Stable ne peut pas mémoriser de grandes quantités de données car la taille de l’ensemble de données d’entraînement de 160 000 millions d’images est supérieure de plusieurs ordres de grandeur au modèle d’IA à diffusion stable de 2 Go. Cela signifie que toute mémorisation qui existe dans le modèle est petite, rare et très difficile à extraire accidentellement.

Incidences sur la vie privée et le droit d’auteur

Pourtant, même lorsqu’il est présent en très petites quantités, l’article semble montrer qu’une mémorisation approximative dans les modèles de diffusion latente existe, et cela pourrait avoir des implications pour la confidentialité des données et le droit d’auteur. Les résultats pourraient un jour affecter la régulation potentielle de la synthèse d’images si les modèles d’IA devenaient considérés comme des « bases de données avec perte » capables de reproduire des données d’entraînement, comme un expert en IA a spéculé. Bien que compte tenu du taux de réussite de 0,03 %, elles devraient être considérées comme des bases de données très, très déficitaires, peut-être à un degré statistiquement insignifiant.

Lors de la formation d’un modèle de synthèse d’images, les chercheurs introduisent des millions d’images existantes dans le modèle à partir d’un ensemble de données, généralement obtenu à partir du Web public. Le modèle comprime ensuite la connaissance de chaque image en une série de poids statistiques, qui forment le réseau neuronal. Cette connaissance compressée est stockée dans une représentation de dimension inférieure appelée « espace latent ». L’échantillonnage à partir de cet espace latent permet au modèle de générer de nouvelles images avec des propriétés similaires à celles de l’ensemble de données d’apprentissage.

Si, lors de la formation d’un modèle de synthèse d’images, la même image est présente plusieurs fois dans l’ensemble de données, cela peut entraîner un « surajustement », qui peut entraîner des générations d’une interprétation reconnaissable de l’image d’origine. Par exemple, le Mona Lisa a été trouvé pour avoir cette propriété dans Stable Diffusion. Cette propriété a permis aux chercheurs de cibler des images en double connues dans l’ensemble de données tout en recherchant la mémorisation, ce qui a considérablement amplifié leurs chances de trouver une correspondance mémorisée.

Dans ce sens, les chercheurs ont également expérimenté les 1 000 images d’entraînement les plus dupliquées dans le modèle Google Imagen AI et ont trouvé un pourcentage de mémorisation beaucoup plus élevé (2,3 %) que Stable Diffusion. Et en formant leurs propres modèles d’IA, les chercheurs ont découvert que les modèles de diffusion ont tendance à mémoriser davantage les images que les GAN.

Eric Wallace, l’un des auteurs de l’article, a partagé quelques réflexions personnelles sur la recherche dans un Fil Twitter. Comme indiqué dans l’article, il a suggéré que les créateurs de modèles d’IA devraient dédupliquer leurs données pour réduire la mémorisation. Il a également noté que le modèle de Stable Diffusion est petit par rapport à son ensemble d’apprentissage, de sorte que les modèles de diffusion plus grands sont susceptibles de mémoriser davantage. Et il a déconseillé d’appliquer les modèles de diffusion actuels à des domaines sensibles à la vie privée comme l’imagerie médicale.

Comme de nombreux articles universitaires, Carlini et coll. 2023 est dense avec des nuances qui pourraient potentiellement être modelées pour s’adapter à un récit particulier alors que des poursuites judiciaires autour de la synthèse d’images se déroulent, et les auteurs de l’article sont conscients que leurs recherches peuvent entrer en jeu juridique. Mais dans l’ensemble, leur objectif est d’améliorer les futurs modèles de diffusion et de réduire les dommages potentiels de la mémorisation : « Nous pensons que publier notre article et divulguer publiquement ces vulnérabilités de la vie privée est à la fois éthique et responsable. En effet, pour le moment, personne ne semble être immédiatement lésé ». par le (manque de) confidentialité des modèles de diffusion ; notre objectif avec ce travail est donc de nous assurer de prévenir ces dommages et d’encourager une formation responsable des modèles de diffusion à l’avenir. »