des photographies (100) d'un large éventail de genres
À l'exception des créations texte-image Adobe Firefly, ces deux systèmes de détection ont fait preuve d'une grande précision dans l'identification correcte des photographies et des créations texte-image Generative AI :
Analyse par Hive AI Detection d'une image générée par Midjourney AI.
Toutefois, ces systèmes se sont heurtés à des difficultés dans l'identification des images rendues de texte à image par Adobe Firefly :
Les deux systèmes de détection ont probablement rencontré des difficultés pour identifier les images d'Adobe Firefly AI en raison de l'approche unique de Firefly :
- L'ensemble de données primaire comprend des photographies Adobe Stock authentiques, ce qui le distingue des autres systèmes génératifs d'IA qui récupèrent des éléments à partir de milliards de photographies sur l'internet.
- L'ensemble de données comprend des images accessibles au public qui ne sont plus soumises à des restrictions de droits d'auteur, ainsi que des images provenant d'autres sources externes.
La combinaison de diverses sources photographiques en un ensemble de données unifié, ainsi que l'exploitation des algorithmes d'apprentissage automatique d'Adobe, permettent d'obtenir les résultats suivants "améliorer automatiquement la qualité de l'image, supprimer les imperfections et même transformer des images ordinaires en œuvres d'art extraordinaires".¹
Malgré leur photoréalisme, toutes les images Firefly ne contenaient aucune donnée sur l'appareil photo et peu de détails sur les étiquettes de métadonnées. Certaines présentent des incohérences au niveau de l'IA après un examen plus approfondi. Une combinaison d'analyses subjectives et objectives peut être nécessaire pour identifier les images générées par l'IA.
¹Usmani, Hisham. Unlocking Enhanced Experiences with Adobe Sensei AI and Machine Learning, 11 août 2023, medium.com/@hishamusmani/unlocking-enhanced-experiences-with-adobe-sensei-ai-and-machine-learning-4871625b430.
Photographie améliorée par les fonctions d'IA générative d'Adobe
La version la plus récente de la version 2024 de Photoshop contient deux
Fonctionnalités générées par l'IA :
Remplissage génératif (in-painting) - est un outil d'IA générative pour l'édition non destructive d'images qui s'appuie sur des invites textuelles pour remplir ou supprimer une partie d'une image avec des éléments réalistes générés par l'IA sans invite textuelle.
Élargir (out-painting) - utilise l'IA générative pour augmenter de manière transparente les photographies au-delà de leurs dimensions originales, en générant intelligemment un contenu visuel supplémentaire qui s'harmonise de manière naturelle avec le paysage existant.
Parallèlement à cette introduction, Adobe a également introduit les éléments suivants
"Les références en matière de contenu dans Photoshop"². qui stipule que
Adobe applique automatiquement les références de contenu aux ressources générées avec les fonctions Adobe Firefly, telles que Texte vers image, Effets de texte, Remplissage génératif, Recoloration générative et Texte vers graphique vectoriel. Cette démarche s'inscrit dans le cadre de l'engagement d'Adobe en faveur de la transparence dans l'utilisation de l'IA générative.
Les informations non personnelles suivantes sont toujours incluses dans les informations d'identification du contenu appliquées automatiquement aux ressources générées avec les fonctionnalités d'Adobe Firefly :
- Miniature de la sortie : miniature visuelle de la sortie ; ne s'affiche que pour les sorties générées à l'aide de la fonction Texte vers image de l'application web Firefly.
- Émetteur : Adobe Inc. l'organisation responsable de l'émission du certificat de contenu.
- Résumé du contenu : un avis indiquant que l'IA générative d'Adobe a été utilisée pour la création de la ressource.
- Application ou dispositif utilisé : l'application logicielle Adobe ou le dispositif matériel utilisé pour produire le bien.
- Outil d'IA utilisé : l'outil d'IA générative Adobe utilisé
- Actions : les actions générales d'édition et de traitement effectuées pour produire la ressource. Seules les actions "Créé" ou "Autres éditions" seront listées pour les ressources générées avec les fonctionnalités d'Adobe Firefly.
² Content Credentials in Adobe Firefly, Adobe Corporation, 10 octobre 2023, helpx.adobe.com/firefly/using/content-credentials.html.
Pour les besoins de ce test, une série de photographies a été importée dans Photoshop 2024. Chaque photographie a été améliorée à l'aide de l'une des fonctionnalités de Firefly AI (Remplissage génératif/suppression et expansion). Diverses options d'enregistrement et d'exportation ont été systématiquement testées.
Chaque photographie originale et chaque photographie originale améliorée ont été analysées par :
Utilisation de la fonction File Info dans le menu déroulant de Photoshop
Utilisation d'un lecteur de métadonnées (site web metadata2go) pour examiner minutieusement les métadonnées détaillées de chaque image.
Vérification de l'authentification et de la validation de la photographie et de l'image à l'aide du site Web Content Credentials d'Adobe.
L'analyse de la photographie originale et des photographies améliorées a révélé les éléments suivants :
Toutes les données de la photographie originale (informations sur l'appareil photo et sur la prise de vue) ont été affichées dans les détails de File Info (contenus dans le menu déroulant File de Photoshop 2024).
Toutes les métadonnées des photographies originales contiennent des données sur l'appareil photo (informations sur l'appareil et la prise de vue) et une liste d'autres détails.
Le site web Content Credentials d'Adobe a analysé ces photographies et a affiché "No Content Credentials" parce qu'aucun droit d'auteur ni aucune information de contact n'ont été établis dans l'application Photoshop 2024 pour ce test.
Toutes les balises de métadonnées des photographies améliorées (Generative Fill, suppression d'élément(s) et Expand) ont été laissées vierges.
Les métadonnées de toutes les photographies améliorées ne contenaient pas de données sur l'appareil photo, mais incluaient les éléments suivants :
- Agent logiciel : Adobe Firefly
- Titre : Image générée
- Générateur de revendications : Adobe_Photoshop/25.1.0 (build 20231016.r.120 ca99df2 ; mac) adobe_c2pa/0.7.6 c2pa-rs/0.25.2
- Informations sur le générateur de réclamations Nom : Adobe_Photoshop
- Claim Generator Info Version : 5.1.0 (build 20231016.r.120 ca99df2 ; mac)
- Pour toutes les photographies améliorées, les métadonnées contenaient la balise Title avec 'Image généréeet les balises associées ont été ajoutées aux photographies améliorées, indépendamment du fait que les balises "Exporter versLe paramètre de métadonnées " a été réglé sur "Aucun" ou "Droits d'auteur et coordonnées."
- La page web Adobe's Content Credentials a analysé toutes les photographies améliorées et a affiché "Cette image combine plusieurs éléments de contenu. Au moins l'un d'entre eux a été généré à l'aide d'un outil d'intelligence artificielle."
L'analyse ci-dessus a montré que lorsque les nouvelles fonctions de génération d'IA de Photoshop sont utilisées, les métadonnées sont modifiées. Adobe a mis en place un système d'identification du contenu qui supprime les détails de l'appareil photo et ajoute des balises telles que "Generative Image" (image génératrice) pour indiquer la modification par l'IA.
Ces balises IA peuvent être visualisées à l'aide d'outils de métadonnées tels que metadata2go.com. Le téléchargement d'une image sur le site Adobe's Content Credential permet de savoir si des fonctions génératrices d'IA ont été appliquées.
Image AI générée à l'aide de Dream Studio AI par Sheldon Boles.
Zone de confusion possible pour Photographes
L'une des principales préoccupations en matière de post-traitement des photos concerne les photographes qui suppriment les taches de poussière ou les objets indésirables. Comme le montre cet article, l'utilisation de l'outil Generative Fill de Photoshop pour supprimer un ou plusieurs éléments entraîne le traitement de l'image par l'algorithme Adobe Content Credential en tant qu'" image de fond ".Image générative', ce qui entraîne la modification des balises de métadonnées.
Pour résoudre ce problème, il peut être nécessaire d'inclure les lignes directrices suivantes dans le cahier des charges du concours photo :
- Images créées ou modifiées à l'aide de techniques génératives d'IA spécifiques - in-painting (où l'IA remplit les éléments générés qui n'ont pas été capturés par le photographe ou l'artiste). retirer des éléments d'une photographie) ou out-painting (lorsque l'IA dépasse les limites originales à l'aide d'éléments générés), que ce soit avec ou sans texte, ne sont pas autorisés dans le cadre de nos concours de photographie. Par exemple, ces dispositions s'appliquent à Photoshop 2024 AI Generative Fill, Retrait d'élément(s) et AI Expand.
- Pour tous les concours, les participants doivent conserver l'image originale (fichier JPG ou RAW non retouché) avec les métadonnées intactes et effectuer toute modification sur une copie de l'original. Cela garantit la préservation des métadonnées de la photographie originale et l'intégrité du contenu de l'image originale. À la demande du coordinateur du concours, le participant doit fournir une copie de l'image originale. Si l'image originale n'est pas fournie, l'image soumise sera retirée du concours.
Les organisations photographiques pourraient envisager d'informer leurs membres de ne pas utiliser Photoshop 2024 Generative Fill pour supprimer des objets ou des éléments indésirables. Les participants devraient être encouragés à utiliser la fonction Content Aware de Photoshop comme méthode alternative.
Pour les images potentiellement gagnantes, les organisations de photographie pourraient demander aux photographes respectifs de soumettre leurs photos originales, non modifiées. Les deux photos originales soumises seraient ensuite analysées pour déterminer les éléments qui ont été ajoutés ou supprimés. Les métadonnées de la photo originale devraient contenir les détails de l'appareil photo et d'autres informations pertinentes.
Ces suggestions visent à trouver un équilibre entre l'encouragement à l'édition créative et le maintien de l'authenticité et de la transparence des images soumises aux concours photographiques.
Conclusion
L'article présente des techniques pratiques permettant d'identifier si une image a été créée ou modifiée à l'aide de l'IA générative. Adobe a pris l'initiative de développer la Content Authenticity Initiative, une norme ouverte permettant de certifier la source et l'historique du contenu multimédia. Leur algorithme intègre cette norme et est présenté dans l'article.
La Coalition for Content Provenance and Authenticity soutient les normes ouvertes d'Adobe, qui seront probablement adoptées par le gouvernement américain. Au fur et à mesure que la détection de l'IA s'améliore, les nouvelles techniques viendront compléter plutôt que remplacer les techniques décrites dans cet article.
Début 2024, nous prévoyons d'appliquer cette méthodologie à d'autres applications dotées de capacités de génération et d'édition d'images par l'IA, notamment Titan d'Amazon, Canva, Imagn, Luminar Neo 2023, Pixlr, et bien d'autres encore. Il est important de tester rigoureusement les capacités de l'IA au fur et à mesure que la technologie progresse.
Sheldon Boles - FCAPA
Directeur des concours de l'ACAP
