Новый инструмент голосового ИИ уже используется для подделки голосов знаменитостей

Инструмент для клонирования голоса AI ElevenLabs уже подвергался злоупотреблениям. Сейчас компания думает о том, как предотвратить эти злоупотребления.

Несколько дней назад ИИ-стартап ElevenLabs запустил бета-версию своей платформы, которая позволяет пользователям создавать совершенно новые синтетические голоса для преобразования текста в речь или клонировать чей-то голос. К сожалению, Интернету потребовалось всего несколько дней, чтобы злонамеренно использовать этот инструмент . Компания написала в Твиттере, что наблюдает «растущее число случаев злоупотребления клонированием голоса» и рассматривает способы решения этой проблемы путем «внедрения дополнительных мер безопасности».

Инструмент для клонирования голоса AI ElevenLabs уже подвергается злоупотреблениям

Хотя ElevenLabs не уточнила, что имеется в виду под «случай злоупотребления», MotherBoard обнаружила сообщения на 4chan с аудиоклипами, в которых были сгенерированы голоса, очень похожие на голоса знаменитостей, читающие или говорящие что-то очень спорное. У одной из них, например, голос похож на голос Эммы Уотсон, читающей отрывок из «Майн Кампф». Пользователи также публиковали видео с гомофобными, трансфобными, насильственными или расистскими комментариями. Никто не знает, действительно ли все эти клипы используют технологию ElevenLabs, но пост с большой коллекцией аудиофайлов на 4chan содержал ссылку на платформу стартапа.

Такое появление аудио «дипфейка», пожалуй, не является неожиданностью, ведь несколько лет назад нам довелось наблюдать подобное явление. Достижения в области искусственного интеллекта и машинного обучения привели к увеличению количества дипфейковых видео, в частности дипфейковой порнографии, с измененным существующим порноконтентом, чтобы показать лица знаменитостей. И да, некоторые даже использовали лицо Эммы Уотсон в таких видео.

Сейчас компания думает о том, как предотвратить эти злоупотребления.

В настоящее время ElevenLabs собирает отзывы пользователей и профессионалов о том, как предотвратить неправильное использование этой технологии пользователями. В настоящее время ведутся разговоры о добавлении дополнительных уровней проверки учетной записи, чтобы включить клонирование голоса, например, сделать обязательным ввод способа оплаты или идентификатора. Компания также рассматривает возможность проверки авторских прав голоса, который пользователь хочет клонировать, например, отправив образец с прочитанным текстом. Наконец, стартап рассматривает возможность отзыва своего инструмента Voice Lab с рынка и работы только с запросами, которые он мог бы проверить вручную. Продолжение следует!

Безумные выходные – спасибо всем, кто попробовал нашу бета-платформу. В то время как мы видим, что наши технологии широко используются, мы также наблюдаем рост злоупотреблений клонированием голоса. Мы хотим обратиться к сообществу Twitter за мыслями и отзывами!

— ElevenLabs (@elevenlabsio) 30 января 2023 г.