Clash of the Titans AI: ChatGPT против Барда в битве ума и мудрости

В современном мире генеративных чат-ботов на базе искусственного интеллекта мы стали свидетелями внезапного появления ChatGPT от OpenAI, представленного в ноябре, за которым последовали Bing Chat в феврале и Bard от Google в марте. Мы решили протестировать этих чат-ботов, выполнив ряд задач, чтобы определить, кто из них доминирует на арене чат-ботов с искусственным интеллектом. Поскольку Bing Chat использует ту же технологию GPT-4, что и последняя модель ChatGPT, мы решили сосредоточиться на двух титанах технологии чат-ботов с искусственным интеллектом: OpenAI и Google.

Мы протестировали ChatGPT и Bard в семи критических категориях: шутки про пап, диалоги с аргументами, математические задачи, обобщение, поиск фактов, творческое письмо и программирование. Для каждого теста мы вводили одну и ту же инструкцию (называемую «подсказкой») в ChatGPT (с GPT-4) и Google Bard. Мы использовали первый результат, не придираясь.

Стоит отметить, что версия ChatGPT, основанная на более ранней модели GPT-3.5, также доступна, но мы не использовали ее в тесте. Поскольку мы использовали только GPT-4, в этой статье мы будем называть ChatGPT «ChatGPT-4», чтобы избежать путаницы.

Очевидно, что это не научное исследование, а забавное сравнение возможностей чат-ботов. Выходные данные могут различаться между сеансами из-за случайных элементов, и дальнейшие оценки с разными сигналами дадут разные результаты. Кроме того, возможности этих моделей со временем будут быстро меняться, поскольку Google и OpenAI продолжают их модернизировать. Но пока так обстоят дела на начало апреля 2023 года.

папа шутит

Чтобы подогреть остроумие, мы попросили ChatGPT и Барда написать несколько шуток. А поскольку шутки про пап — это вершина комедии, нам стало интересно, смогут ли два чат-бота придумать несколько уникальных шуток.

Подсказка: напишите 5 оригинальных анекдотов про пап.

Из пяти шуток Барда о папе мы нашли три дословно в Интернете с помощью поиска в Google. Один пример («виноград») наполовину заимствован из шуточного твита Митча Хедберга , но он испорчен неудачным каламбуром, который мы не хотим пытаться интерпретировать. И что удивительно, есть один, казалось бы, оригинальный анекдот (про улитку), который мы больше нигде не можем найти, но который не имеет смысла.

Между тем, пять шуток про папу на ChatGPT-4 были на 100% неоригинальными, все взяты полностью из других источников, но переданы точно. Поскольку отцовские шутки, возможно, должны быть достойными стонов, а не умными, кажется, что Бард вытеснил здесь ChatGPT-4. Бард тоже пытался придумывать оригинальные шутки (по нашим указаниям), хотя некоторые из них жутко в неловкой манере (что в папином духе) проваливались и даже, так сказать, нечаянно ставили ногу в рот ( тоже похож на папу).

Победитель: Бард