Authentification du contenu - Photographies et images générées par l'IA

Authentification du contenu - Photographies et images générées par l'IA

Image générée par l'intelligence artificielle dans Midjourney par le Dr Robert Ito.

Introduction

L'IA générative crée des images synthétiques très réalistes, ce qui pose des problèmes aux organismes photographiques pour les distinguer des photographies réelles.

Cet article propose des conseils sur la détection des images générées par l'IA à l'aide de deux méthodes : l'évaluation subjective des images et l'analyse technique objective.

Termes clés de l'IA générative

Dans cet article, les termes suivants seront introduits et leurs définitions sont présentées ci-dessous :

  • Du texte à l'image - créer des images de manière algorithmique à partir de textes sans photographies originales.

  • Image In-painting - qui prédit de manière réaliste les éléments d'image manquants ou ajoute un élément demandé à partir de l'ensemble de données d'images extraites de l'internet par le système générateur d'IA.

  • Peinture extérieure de l'image - étendre le contenu visuel des images au-delà de leurs dimensions d'origine.

Évaluation subjective de l'image

Ce type d'analyse s'appuie sur le jugement humain pour identifier visuellement les incohérences des images d'IA, telles que

  • L'image apparaît excessivement spectaculaire et dépourvue d'imperfections naturelles.

  • L'image semble irréaliste.

"Visage irréaliste et déformé" - Dream Studio AI généré par Sheldon Boles

  • Incohérences dans la direction de l'éclairage, des ombres ou des reflets, comme les reflets mal assortis dans les yeux.

"Éclairage incohérent" - NightCafe AI généré par Sheldon Boles.

  • Un paysage qui n'est pas représentatif d'un lieu géographique réel.

"Lieu irréaliste" - généré par Dream Studio AI - Sheldon Boles

  • Un examen approfondi peut révéler des bizarreries physiques humaines, telles que des visages déformés, l'absence de veines sanguines dans les yeux, des yeux dont l'iris et le public ne sont pas circulaires, une peau excessivement lisse, une représentation non naturelle des doigts, des orteils ou des jambes.

"No blood veins in Eyes" - Image générée par l'IA de Sheldon Boles

"Caractéristiques humaines irréalistes" - Image générée par l'IA par Sheldon Boles

  • Examiner attentivement tous les détails contenus dans une image afin d'identifier les écarts irréalistes et les artefacts étranges.

"Oddities contained in image" - Image générée par l'IA par Sheldon Boles.

  • Les véhicules à moteur peuvent sembler irréalistes, d'autres indices étant que les plaques d'immatriculation et les lettres d'identification des véhicules sont absurdes.

"Véhicule irréaliste et lettre absurde sur la plaque d'immatriculation" - Image générée par Sheldon Boles.

Bon nombre de ces imperfections peuvent être corrigées en affinant l'invite générative de l'IA, en utilisant des invites négatives et en régénérant ensuite l'invite.

Un défi majeur pour tous les systèmes d'IA générative qui génèrent des images et du texte est de s'assurer que le texte reflète fidèlement le contenu visuel. Actuellement, certaines méthodes permettent de relever ce défi :

  • Utilisation de techniques d'IA telles que l'in-painting pour remplacer le texte génératif.

  • Spécifier le texte exact entre guillemets dans l'invite AI.

  • Utilisation d'une application de post-traitement pour insérer le texte requis dans l'image générée.

Image AI d'une marquise de cinéma générée dans Dream Studio AI par Sheldon Boles.

Les humains excellent généralement dans l'identification des erreurs ou des incohérences logiques dans les images en raison de leur capacité innée à reconnaître les modèles visuels. Toutefois, les performances humaines sont très variables et dépendent de l'expérience personnelle et de la diligence, et on ne peut pas s'y fier dans de nombreux cas de reconnaissance d'images d'IA. Au fur et à mesure des progrès technologiques, il deviendra de plus en plus difficile de différencier les images générées par l'IA des photographies en s'appuyant sur une analyse subjective des images pour identifier les indices de l'IA. Des méthodes plus fiables et plus objectives sont nécessaires et sont décrites dans la section suivante.

Analyse technique objective

Ce type d'évaluation technique permet d'évaluer les images à l'aide de mesures quantitatives impartiales afin d'identifier les modèles, les attributs et les anomalies. Ils examinent les caractéristiques distinctives, les valeurs de couleur, la résolution et le bruit. D'autres outils incluent l'analyse des métadonnées des images et les recherches d'images inversées. Tous ces processus utilisent des techniques normalisées pour évaluer les images.

Deux catégories d'images génératrices d'IA ont été analysées :

  • Génération d'images à partir de textes par l'IA

  • Photographie améliorée avec les fonctions d'IA générative d'Adobe Photoshop 2024 (remplissage génératif/suppression d'éléments et extension des limites d'une image)

Des mesures spécifiques et impartiales ont été utilisées pour analyser chacune de ces deux catégories.

Génération d'images à partir de textes par l'IA

Pour ces images, deux classificateurs d'IA ont été sélectionnés : IA ou pas et Détection de l'IA de Hive sites web.

Ces deux sites web fonctionnent comme des services d'apprentissage automatique, analysant le contenu superficiel des images pour déterminer si elles proviennent d'une photographie ou si elles ont été générées par un système d'intelligence artificielle.

Pour évaluer la précision de ces systèmes dans la détection des créations de texte-image générées par l'IA, un ensemble de données d'images a été compilé, composé de 900 rendus provenant de neuf systèmes différents de texte-image générés par l'IA et de 100 images capturées par des caméras lors de nos concours CAPA 2020-2021 :

  • Adobe Firefly 2 texte-image (100)
  • Studio de rêve (100)
  • Meta AI (100)
  • NightCafe (100)
  • Diffusion stable (100)
  • Bing AI (100)
  • Leonardo AI (100)
  • Voyage à mi-parcours (100)
  • SeaArt (100)

des photographies (100) d'un large éventail de genres

À l'exception des créations texte-image Adobe Firefly, ces deux systèmes de détection ont fait preuve d'une grande précision dans l'identification correcte des photographies et des créations texte-image Generative AI :

  • AI or Not - fiabilité moyenne 97%

  • Hive AI Detection - fiabilité moyenne 99%

Analyse par Hive AI Detection d'une image générée par Midjourney AI.

Toutefois, ces systèmes se sont heurtés à des difficultés dans l'identification des images rendues de texte à image par Adobe Firefly :

  • AI or Not - fiabilité 36%

  • Hive AI Detection - fiabilité 63%

Les deux systèmes de détection ont probablement rencontré des difficultés pour identifier les images d'Adobe Firefly AI en raison de l'approche unique de Firefly :

  • L'ensemble de données primaire comprend des photographies Adobe Stock authentiques, ce qui le distingue des autres systèmes génératifs d'IA qui récupèrent des éléments à partir de milliards de photographies sur l'internet.
  • L'ensemble de données comprend des images accessibles au public qui ne sont plus soumises à des restrictions de droits d'auteur, ainsi que des images provenant d'autres sources externes.

La combinaison de diverses sources photographiques en un ensemble de données unifié, ainsi que l'exploitation des algorithmes d'apprentissage automatique d'Adobe, permettent d'obtenir les résultats suivants "améliorer automatiquement la qualité de l'image, supprimer les imperfections et même transformer des images ordinaires en œuvres d'art extraordinaires".¹
Malgré leur photoréalisme, toutes les images Firefly ne contenaient aucune donnée sur l'appareil photo et peu de détails sur les étiquettes de métadonnées. Certaines présentent des incohérences au niveau de l'IA après un examen plus approfondi. Une combinaison d'analyses subjectives et objectives peut être nécessaire pour identifier les images générées par l'IA.

¹Usmani, Hisham. Unlocking Enhanced Experiences with Adobe Sensei AI and Machine Learning, 11 août 2023, medium.com/@hishamusmani/unlocking-enhanced-experiences-with-adobe-sensei-ai-and-machine-learning-4871625b430. 

Photographie améliorée par les fonctions d'IA générative d'Adobe

La version la plus récente de la version 2024 de Photoshop contient deux
Fonctionnalités générées par l'IA :

  • Remplissage génératif (in-painting) - est un outil d'IA générative pour l'édition non destructive d'images qui s'appuie sur des invites textuelles pour remplir ou supprimer une partie d'une image avec des éléments réalistes générés par l'IA sans invite textuelle.

  • Élargir (out-painting) - utilise l'IA générative pour augmenter de manière transparente les photographies au-delà de leurs dimensions originales, en générant intelligemment un contenu visuel supplémentaire qui s'harmonise de manière naturelle avec le paysage existant.

Parallèlement à cette introduction, Adobe a également introduit les éléments suivants
"Les références en matière de contenu dans Photoshop"². qui stipule que

Adobe applique automatiquement les références de contenu aux ressources générées avec les fonctions Adobe Firefly, telles que Texte vers image, Effets de texte, Remplissage génératif, Recoloration générative et Texte vers graphique vectoriel. Cette démarche s'inscrit dans le cadre de l'engagement d'Adobe en faveur de la transparence dans l'utilisation de l'IA générative.
Les informations non personnelles suivantes sont toujours incluses dans les informations d'identification du contenu appliquées automatiquement aux ressources générées avec les fonctionnalités d'Adobe Firefly :

  • Miniature de la sortie : miniature visuelle de la sortie ; ne s'affiche que pour les sorties générées à l'aide de la fonction Texte vers image de l'application web Firefly.
  • Émetteur : Adobe Inc. l'organisation responsable de l'émission du certificat de contenu.
  • Résumé du contenu : un avis indiquant que l'IA générative d'Adobe a été utilisée pour la création de la ressource.
  • Application ou dispositif utilisé : l'application logicielle Adobe ou le dispositif matériel utilisé pour produire le bien.
  • Outil d'IA utilisé : l'outil d'IA générative Adobe utilisé
  • Actions : les actions générales d'édition et de traitement effectuées pour produire la ressource. Seules les actions "Créé" ou "Autres éditions" seront listées pour les ressources générées avec les fonctionnalités d'Adobe Firefly.

² Content Credentials in Adobe Firefly, Adobe Corporation, 10 octobre 2023, helpx.adobe.com/firefly/using/content-credentials.html. 

Pour les besoins de ce test, une série de photographies a été importée dans Photoshop 2024. Chaque photographie a été améliorée à l'aide de l'une des fonctionnalités de Firefly AI (Remplissage génératif/suppression et expansion). Diverses options d'enregistrement et d'exportation ont été systématiquement testées.

Chaque photographie originale et chaque photographie originale améliorée ont été analysées par :

  • Utilisation de la fonction File Info dans le menu déroulant de Photoshop

  • Utilisation d'un lecteur de métadonnées (site web metadata2go) pour examiner minutieusement les métadonnées détaillées de chaque image.

  • Vérification de l'authentification et de la validation de la photographie et de l'image à l'aide du site Web Content Credentials d'Adobe.

L'analyse de la photographie originale et des photographies améliorées a révélé les éléments suivants :

  • Toutes les données de la photographie originale (informations sur l'appareil photo et sur la prise de vue) ont été affichées dans les détails de File Info (contenus dans le menu déroulant File de Photoshop 2024).

  • Toutes les métadonnées des photographies originales contiennent des données sur l'appareil photo (informations sur l'appareil et la prise de vue) et une liste d'autres détails.

  • Le site web Content Credentials d'Adobe a analysé ces photographies et a affiché "No Content Credentials" parce qu'aucun droit d'auteur ni aucune information de contact n'ont été établis dans l'application Photoshop 2024 pour ce test.

  • Toutes les balises de métadonnées des photographies améliorées (Generative Fill, suppression d'élément(s) et Expand) ont été laissées vierges.

  • Les métadonnées de toutes les photographies améliorées ne contenaient pas de données sur l'appareil photo, mais incluaient les éléments suivants : 

          - Agent logiciel : Adobe Firefly

          - Titre : Image générée

          - Générateur de revendications : Adobe_Photoshop/25.1.0 (build 20231016.r.120 ca99df2 ; mac) adobe_c2pa/0.7.6 c2pa-rs/0.25.2

          - Informations sur le générateur de réclamations Nom : Adobe_Photoshop

          - Claim Generator Info Version : 5.1.0 (build 20231016.r.120 ca99df2 ; mac)

  • Pour toutes les photographies améliorées, les métadonnées contenaient la balise Title avec 'Image généréeet les balises associées ont été ajoutées aux photographies améliorées, indépendamment du fait que les balises "Exporter versLe paramètre de métadonnées " a été réglé sur "Aucun" ou "Droits d'auteur et coordonnées." 
  • La page web Adobe's Content Credentials a analysé toutes les photographies améliorées et a affiché "Cette image combine plusieurs éléments de contenu. Au moins l'un d'entre eux a été généré à l'aide d'un outil d'intelligence artificielle."

L'analyse ci-dessus a montré que lorsque les nouvelles fonctions de génération d'IA de Photoshop sont utilisées, les métadonnées sont modifiées. Adobe a mis en place un système d'identification du contenu qui supprime les détails de l'appareil photo et ajoute des balises telles que "Generative Image" (image génératrice) pour indiquer la modification par l'IA.

Ces balises IA peuvent être visualisées à l'aide d'outils de métadonnées tels que metadata2go.com. Le téléchargement d'une image sur le site Adobe's Content Credential permet de savoir si des fonctions génératrices d'IA ont été appliquées.

Image AI générée à l'aide de Dream Studio AI par Sheldon Boles.

Zone de confusion possible pour Photographes

L'une des principales préoccupations en matière de post-traitement des photos concerne les photographes qui suppriment les taches de poussière ou les objets indésirables. Comme le montre cet article, l'utilisation de l'outil Generative Fill de Photoshop pour supprimer un ou plusieurs éléments entraîne le traitement de l'image par l'algorithme Adobe Content Credential en tant qu'" image de fond ".Image générative', ce qui entraîne la modification des balises de métadonnées.

Pour résoudre ce problème, il peut être nécessaire d'inclure les lignes directrices suivantes dans le cahier des charges du concours photo :

  • Images créées ou modifiées à l'aide de techniques génératives d'IA spécifiques - in-painting (où l'IA remplit les éléments générés qui n'ont pas été capturés par le photographe ou l'artiste). retirer des éléments d'une photographie) ou out-painting (lorsque l'IA dépasse les limites originales à l'aide d'éléments générés), que ce soit avec ou sans texte, ne sont pas autorisés dans le cadre de nos concours de photographie. Par exemple, ces dispositions s'appliquent à Photoshop 2024 AI Generative Fill, Retrait d'élément(s) et AI Expand.
  • Pour tous les concours, les participants doivent conserver l'image originale (fichier JPG ou RAW non retouché) avec les métadonnées intactes et effectuer toute modification sur une copie de l'original. Cela garantit la préservation des métadonnées de la photographie originale et l'intégrité du contenu de l'image originale. À la demande du coordinateur du concours, le participant doit fournir une copie de l'image originale. Si l'image originale n'est pas fournie, l'image soumise sera retirée du concours.

Les organisations photographiques pourraient envisager d'informer leurs membres de ne pas utiliser Photoshop 2024 Generative Fill pour supprimer des objets ou des éléments indésirables. Les participants devraient être encouragés à utiliser la fonction Content Aware de Photoshop comme méthode alternative.

Pour les images potentiellement gagnantes, les organisations de photographie pourraient demander aux photographes respectifs de soumettre leurs photos originales, non modifiées. Les deux photos originales soumises seraient ensuite analysées pour déterminer les éléments qui ont été ajoutés ou supprimés. Les métadonnées de la photo originale devraient contenir les détails de l'appareil photo et d'autres informations pertinentes.

Ces suggestions visent à trouver un équilibre entre l'encouragement à l'édition créative et le maintien de l'authenticité et de la transparence des images soumises aux concours photographiques.

Conclusion

L'article présente des techniques pratiques permettant d'identifier si une image a été créée ou modifiée à l'aide de l'IA générative. Adobe a pris l'initiative de développer la Content Authenticity Initiative, une norme ouverte permettant de certifier la source et l'historique du contenu multimédia. Leur algorithme intègre cette norme et est présenté dans l'article.

La Coalition for Content Provenance and Authenticity soutient les normes ouvertes d'Adobe, qui seront probablement adoptées par le gouvernement américain. Au fur et à mesure que la détection de l'IA s'améliore, les nouvelles techniques viendront compléter plutôt que remplacer les techniques décrites dans cet article.

Début 2024, nous prévoyons d'appliquer cette méthodologie à d'autres applications dotées de capacités de génération et d'édition d'images par l'IA, notamment Titan d'Amazon, Canva, Imagn, Luminar Neo 2023, Pixlr, et bien d'autres encore. Il est important de tester rigoureusement les capacités de l'IA au fur et à mesure que la technologie progresse.

Sheldon Boles - FCAPA
Directeur des concours de l'ACAP