С новым AI-инструментом «Generative Fill» от Adobe Photoshop вы можете добавлять текст к изображениям.

Во вторник Adobe добавила в бета-версию Photoshop функцию «Генеративная заливка», которая использует облачный синтез изображений для заполнения определенных частей изображения новой информацией, сгенерированной искусственным интеллектом на основе текстового описания. Генеративное заполнение, в котором используется Adobe Firefly, работает аналогично методу «закрашивания», который использовался в обновлениях DALL-E и Stable Diffusion с прошлого года.

Adobe Firefly, уникальная модель синтеза изображений, созданная Adobe, лежит в основе Generative Fill. Firefly — это модель искусственного интеллекта с глубоким обучением, которая была обучена на миллионах стоковых фотографий Adobe, чтобы связать определенные изображения с текстовыми описаниями о них. Теперь люди могут вводить то, что они хотят видеть (например, «клоун на экране компьютера»), и Firefly предоставит им несколько вариантов на выбор. Generative Fill разрабатывает контекстно-зависимую генерацию, которая может беспрепятственно включать синтетические изображения в существующее изображение с использованием известного подхода искусственного интеллекта, называемого « inpainting ».

Пользователи выбирают область существующего изображения, которую они хотят изменить, прежде чем использовать генеративную заливку. «Контекстная панель задач», которая позволяет пользователям вводить описание того, что они хотят видеть сгенерированным в выбранной области, появляется после того, как они ее выбрали. После обработки этих данных на серверах Adobe Photoshop возвращает результаты приложению. После создания у пользователя есть выбор: выбрать из нескольких поколений возможностей или создать новые варианты для просмотра.

Использование инструмента «Генеративное заполнение» приводит к созданию нового «Генеративного слоя», который позволяет вносить неразрушающие изменения в содержимое изображения, такие как добавления, расширения или удаления, руководствуясь этими текстовыми инструкциями. Он автоматически изменяет точку обзора, освещение и эстетику изображения.

Бета-версия Photoshop теперь включает в себя дополнительные функции на основе искусственного интеллекта в дополнение к генеративной заливке. Более того, Firefly позволяет Photoshop полностью стирать элементы со сцены или увеличивать размер изображения, создавая новый контент вокруг оригинала — процесс, известный в искусственном интеллекте как « закрашивание ».

Adobe только сейчас догоняет добавление этих функций в свой флагманский редактор изображений, хотя генератор и редактор изображений OpenAI DALL-E 2 имеют их с августа прошлого года (и различные доморощенные выпуски Stable Diffusion примерно с того же времени). Это правда, что время оборота быстро для бизнеса, у которого, возможно, уже есть огромная цель ответственности, нарисованная на спине из-за опасений по поводу создания вредоносного или социально стигматизированного контента, использования изображений художников в качестве учебных материалов и питания пропаганда или дезинформация.

Аналогичным образом Adobe опирается на условия использования , которые не позволяют потребителям создавать «оскорбительный, незаконный или конфиденциальный» контент, а также блокируют создание некоторых защищенных авторским правом, насильственных и сексуальных ключевых слов.

Кроме того, Adobe расширяет свою инициативу Content Authenticity , которая использует Content Credentials для добавления метаданных в сгенерированные файлы, которые помогают отслеживать их происхождение. Благодаря способности Generative Fill легко искажать видимую мультимедийную реальность фотографии (по общему признанию, Photoshop делал это с момента своего создания), Adobe может легко изменить внешний вид реальности фотографии.

Все пользователи Creative Cloud, у которых есть подписка на Photoshop или бесплатная пробная версия, в настоящее время могут получить доступ к Generative Fill в бета-приложении Photoshop, перейдя в область «Бета-приложения» приложения Creative Cloud. Он еще не поддерживает китайских пользователей, недоступен для лиц моложе 18 лет и в настоящее время предлагает только текстовые инструкции на английском языке. К концу года Adobe намерена сделать Generative Fill доступной для всех пользователей Photoshop, чтобы любой мог быстро создавать дворовых клоунов.

Имея учетную запись Adobe и веб-инструмент, вы также можете бесплатно попробовать Generative Fill, если у вас нет подписки Creative Cloud на веб-сайте Adobe Firefly . Adobe только что отозвала список ожидания бета-версии Firefly.