Avec le nouvel outil AI « Generative Fill » d’Adobe Photoshop, vous pouvez ajouter du texte aux images

La fonctionnalité « Generative Fill », qui utilise la synthèse d’images basée sur le cloud pour remplir des parties spécifiques d’une image avec de nouvelles informations générées par l’IA basées sur une description textuelle, a été ajoutée par Adobe à la version bêta de Photoshop mardi. Generative Fill, qui utilise Adobe Firefly, fonctionne de la même manière que la méthode « inpainting » utilisée dans les mises à jour DALL-E et Stable Diffusion depuis l’année dernière.

Adobe Firefly, un modèle de synthèse d’images unique créé par Adobe, est au cœur de Generative Fill. Firefly est un modèle d’IA d’apprentissage en profondeur qui a été formé sur des millions de photographies d’Adobe pour lier des images spécifiques à des descriptions textuelles à ce sujet. Les gens peuvent désormais saisir ce qu’ils souhaitent voir (par exemple, « un clown sur un écran d’ordinateur ») et Firefly leur proposera un certain nombre de choix. Generative Fill développe une génération sensible au contexte qui peut incorporer de manière transparente des images synthétiques dans une image existante en utilisant une approche d’IA bien connue appelée « inpainting ».

Les utilisateurs choisissent la zone d’une image existante qu’ils souhaitent modifier avant d’utiliser le remplissage génératif. Une « barre de tâches contextuelle » qui permet aux utilisateurs d’entrer une description de ce qu’ils souhaitent voir généré dans la région sélectionnée apparaît une fois qu’ils l’ont choisie. Après traitement de ces données sur les serveurs d’Adobe, Photoshop renvoie les résultats à l’application. Après la génération, l’utilisateur a le choix de choisir parmi plusieurs générations de possibilités ou de créer de nouvelles options à parcourir.

L’utilisation de l’outil de remplissage génératif entraîne la création d’un nouveau « calque génératif », qui permet des modifications non destructives du contenu de l’image, telles que des ajouts, des extensions ou des suppressions, guidés par ces instructions textuelles. Il modifie automatiquement le point de vue, l’éclairage et l’esthétique de l’image.

La version bêta de Photoshop inclut désormais des fonctionnalités supplémentaires alimentées par l’IA en plus de Generative Fill. De plus, Firefly a permis à Photoshop d’effacer complètement des éléments d’une scène ou d’agrandir la taille d’une image en créant un nouveau contenu autour de l’original, un processus connu sous le nom de « outpainting » en intelligence artificielle.

Adobe est en train de rattraper son retard pour ajouter ces fonctionnalités à son éditeur d’images phare, même si le générateur et l’éditeur d’images DALL-E 2 d’OpenAI les ont depuis août de l’année dernière (et diverses versions homebrew de Stable Diffusion depuis à peu près la même époque). Il est vrai que le délai d’exécution est rapide pour une entreprise qui peut déjà avoir un énorme objectif de responsabilité peint sur le dos en raison de préoccupations concernant la création de contenu préjudiciable ou socialement stigmatisé, l’utilisation d’images d’artistes comme matériel de formation et l’alimentation de la propagande ou de la désinformation.

Dans le même ordre d’idées, Adobe s’appuie sur des conditions d’utilisation qui empêchent les consommateurs de créer du contenu « abusif, illégal ou confidentiel » en plus de bloquer la génération de certains mots-clés protégés par le droit d’auteur, violents et sexuels.

De plus, Adobe intensifie son initiative d’authenticité du contenu , qui utilise les informations d’identification du contenu pour ajouter des métadonnées aux fichiers générés qui aident à suivre leur provenance. Avec la capacité de Generative Fill à déformer facilement la réalité médiatique apparente d’une photo (certes quelque chose que Photoshop fait depuis sa création), Adobe est capable de modifier facilement l’apparence de la réalité d’une photo.

Tous les utilisateurs de Creative Cloud qui disposent d’un abonnement Photoshop ou d’un essai gratuit peuvent actuellement accéder à Generative Fill dans l’application bêta Photoshop en accédant à la zone « Applications bêta » de l’application Creative Cloud. Il ne prend pas encore en charge les utilisateurs chinois, n’est pas accessible aux moins de 18 ans et ne propose pour le moment que des instructions textuelles en anglais. D’ici la fin de l’année, Adobe a l’intention de rendre Generative Fill accessible à tous les utilisateurs de Photoshop afin que n’importe qui puisse créer rapidement des clowns de jardin.

Avec une connexion Adobe et un outil Web, vous pouvez également essayer Generative Fill gratuitement si vous n’avez pas d’abonnement Creative Cloud sur le site Web d’Adobe Firefly . La liste d’attente bêta de Firefly vient d’être retirée par Adobe.