ИИ Клода из Anthropic руководствуется 10 принципами, обеспечивающими его беспристрастность.

Anthropic обучает свой диалоговый ИИ следованию фундаментальным принципам. Многообещающая работа, но многое еще предстоит сделать.

Несмотря на свою способность создавать невероятно яркую прозу, генеративные ИИ, такие как Google Bard или OpenAI ChatGPT, уже демонстрируют ограничения современных технологий, особенно в отношении достоверности информации, предлагаемой пользователям. Но при такой популярности и таком внушительном потенциале не эти мелкие заминки помешают этим гигантам как можно быстрее донести свою продукцию до широкой публики. Некоторые делают вещи по-другому .

Anthropic обучает свой диалоговый ИИ следованию фундаментальным принципам

С другой стороны, команда Anthropic состоит из многих бывших сотрудников OpenAI и использует более прагматичный подход к разработке собственного чат-бота Claude. Результатом стал ИИ, который гораздо «более управляем» и «гораздо менее склонен к созданию опасного контента», чем ChatGPT, согласно отчету TechCrunch.

Клод находится в закрытом бета-тестировании с конца 2022 года, но только недавно начал тестировать свои разговорные способности с такими партнерами, как Robin AI, Quora и поисковой системой Duck Duck Go, ориентированной на конфиденциальность. TechCrunch, что при запуске будут доступны две версии: стандартный API и более легкая и быстрая версия под названием Claude Instant.

«Мы используем Claude для оценки конкретных аспектов контракта и разработки новых языковых альтернатив, более подходящих для наших клиентов», — сказал TechCrunch генеральный директор Robin Ричард Робинсон. «Мы обнаружили, что Клод чрезвычайно одарен в понимании языка, в том числе в технических областях, таких как юридический язык. Он также очень удобен для создания первых набросков, резюме, переводов и объяснения сложных концепций простыми словами».

Anthropic считает, что Клод с меньшей вероятностью будет делать и говорить такие вещи, как Тэй, отчасти из-за его специальной подготовки, которая, по словам компании, сделала его «конституционным ИИ». Компания заявляет, что это обеспечивает «принципиальный» подход к попытке поставить людей и роботов на одну и ту же этическую страницу. Антропик начал с 10 основных принципов — не вдаваясь в подробности — и они вращаются вокруг «таких понятий, как благодеяние, безвредность и уверенность в себе», согласно TechCrunch.

Многообещающая работа, но еще больше предстоит сделать

Затем компания обучила другой ИИ генерировать текст в соответствии с этими принципами в ответ на ввод текста, например, «составить стихотворение в стиле Джона Китса». Позже эту модель обучил Клод. Но то, что его научили создавать меньше проблем, чем его конкуренты, не означает, что он не выйдет на первое место. Например, ИИ уже изобрел совершенно новый химикат и ловко лицензировал процесс обогащения урана; и он получил более низкие баллы, чем ChatGPT, на стандартизированных тестах по математике и грамматике.

«Задача состоит в том, чтобы разработать модели, которые никогда не будут галлюцинировать, но при этом будут полезны — вы можете оказаться в ситуации, когда модель просто найдет хороший способ никогда не лгать и просто ничего не говорить, это компромисс, над которым мы работаем. Об этом TechCrunch сообщил представитель Anthropic. «Мы также добились больших успехов в уменьшении галлюцинаций, но еще многое предстоит сделать».