Google запустил PaLM 2 — новую большую языковую модель (LLM). На основе PaLM 2 будет работать обновленный чат-бот компании — Bard, конкурент ChatGPT от OpenAI. Кроме того, PaLM 2 станет базовой моделью для большинства новых ИИ-инструментов Google.

В компании заявили, что новая модель лучше понимает математику и логику. Ни для кого не секрет, что большие языковые модели — с их упором на язык — с трудом справляются с математическими задачами без использования сторонних плагинов. В Google утверждают, что PaLM 2 может легко решать математические головоломки, проблемы и даже создавать диаграммы. В компании также уточнили, что модель PaLM 2 поддерживает более 100 языков, что делает ее, по словам представителей Google, «отличным решением для многоязычных задач».

Google не предоставил много технических подробностей о том, как обучена эта «модель следующего поколения», включая число параметров. Однако известно, что предыдущая версия — PaLM 1 — учитывает 540 млрд параметров. Единственная техническая информация, предоставленная разработчиками, заключается в том, что PaLM 2 построена на основе новейшей инфраструктуры Google: фреймворке машинного обучения для преобразования числовых функций JAX и тензорном процессоре TPU v4.

«Больше не всегда лучше, — сказал вице-президент DeepMind Зубин Гахрамани. — Вот почему мы представили семейство моделей разных размеров. Мы думаем, что на самом деле подсчет параметров не очень полезный способ оценки возможностей моделей — о возможностях должны судить пользователи».

PaLM 2 также имеет улучшенную поддержку для написания и отладки кода. Модель была обучена на 20 языках программирования, в том числе на популярных, таких как JavaScript и Python, а также на таких, как Prolog, Verilog и Fortran. PaLM 2 составляет основу Codey, новой специализированной модели Google для кодирования и отладки.

В Google говорят о PaLM как о семействе моделей, в которое входят как Codey, так и Med-PaLM 2 – модель, ориентированная на медицинские знания. Существует также Sec-PaLM (версия для сферы кибербезопасности) и меньшая модель PaLM 2, которая может работать на смартфонах.

Источник: TechCrunch

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!