Большие языковые модели (LLM) превзошли в креативности средние человеческие показатели, но не самых творческих людей. Группа ученых из Канады сравнила способности людей и ИИ к дивергентному мышлению — ключевому аспекту креативности, связанному с генерацией разнородных, удаленных друг от друга идей. Результаты их тестов опубликованы в научном журнале Scientific Reports.

В основе исследования лежала задача на дивергентные ассоциации (DAT) — участникам эксперимента нужно было назвать 10 максимально разных по смыслу слов. Креативность количественно оценивалась через среднее семантическое расстояние между этими словами, вычисляемое с помощью векторных представлений (эмбеддингов). Ученые протестировали ряд современных LLM, включая GPT-4, GPT-3.5, Gemini Pro и Claude 3, и сравнили их результаты с данными 100 тысяч человек, с учетом возраста и пола.

Человек vs ИИ в креативности: главные результаты исследования

◉ ИИ способнее среднего человека. Лучшая модель, GPT-4, статистически значимо превзошла средний балл людей в тесте на дивергентные ассоциации.

◉ Нейросетям далеко до самых творчески одаренных людей. Даже GPT-4 не достигла среднего балла, который показывают 50% наиболее креативных участников-людей. А самые высокие человеческие результаты — верхние 10-25% — остаются недосягаемыми для всех протестированных ИИ-моделей.

◉ У LLM «подкручиваются» настройки креативности. Исследователи обнаружили, что творческий подход больших языковых моделей к решению задач можно усиливать. Повышение параметра «температура», который увеличивает случайность в выборе слов, ведет к значительному росту баллов в DAT. Так, GPT-4 с максимальной температурой (1.5) обошла по среднему баллу 72% людей. Также специальные промпты (например, «используй слова с разной этимологией») положительно влияют на семантическое разнообразие ответов ИИ.

◉ В сочинении текстов ИИ уступает человеку. Ученые поручили моделям написать хайку, синопсис фильма и короткий рассказ. Результаты нейросетей сравнили с текстами, созданными людьми, из открытых баз. Творчество людей оказалось более креативным по метрике дивергентной семантической интеграции (DSI), которая оценивает объединение в тексте не связанных или отдаленно связанных идей, а также с более высоким показателем по шкале сложности Лемпеля-Зива, отражающей структурное разнообразие и сжимаемость текста без смысловых искажений.

◉ У LLM нет своего семантического почерка. Эффект температуры, усиливающий креативность LLM в DAT, также проявился в более длинных форматах — синопсисах и рассказах, но не повлиял на результаты в хайку. Это говорит о том, что степень творческой свободы модели зависит от жанровых ограничений. Кроме того, семантический почерк людей остается уникальным. Человеческие произведения формируют четко обособленные кластеры в семантическом пространстве.

Таким образом, результаты исследования указывают на сохраняющийся разрыв в креативности между системами искусственного интеллекта и пиковыми проявлениями человеческого творческого мышления.

Текст: Наталья Травова

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!