OpenAI представила новую модель популярной нейросети — GPT-4 Omni, или просто GPT-4о. Omni на латыни означает «всё в одном»: модель одновременно работает с текстом, голосом и изображением.

К другим особенностям GPT-4о относятся:

✓ интеллект уровня GPT-4,

✓ улучшенные языковые возможности: модель поддерживает более 50 языков,

✓ ответы не только из базы знаний модели, но и из интернета,

✓ среднее время реакции на голосовые запросы 0,3 секунды, как у человека,

✓ определение эмоций пользователя и изменение интонаций при общении,

✓ хорошая память: модель запоминает беседы с пользователем;

✓ скорость работы через API в два раза быстрее, чем у GPT-4 Turbo, и стоимость на 50% меньше,

✓ возможность синтеза 3D-объектов,

✓ анализ данных и создание диаграмм,

✓ загрузка файлов для подготовки краткого изложения (саммари), помощи в написании или анализе текста,

✓ обсуждение изображений.

Возможные сценарии использования модели GPT-4о

◉ Cфотографировать меню на другом языке и попросить нейросеть перевести его, узнать об истории и значении блюда, а также получить рекомендации для его приготовления.

◉ Пообщаться с ChatGPT через видео: например, показать нейросети спортивную игру в прямом эфире и попросить ее объяснить вам правила (голосовой режим с новыми возможностями будет запущен в ближайшие недели).

◉ Изучать языки: можно демонстрировать модели различные объекты и спрашивать, как они называются на разных языках.

◉ Оценить образ: сотрудник OpenAI спросил у чат-бота, хорошо ли он выглядит для собеседования. Нейросеть рекомендовала ему причесаться, а когда он надел шляпу – посмеялась, отметив, что у него теперь несерьезный вид.

Модель GPT-4o также может сочинить и исполнить песню, провести игру, помочь в обучении, перевести разговор в режиме реального времени и так далее.

Кто сможет воспользоваться моделью GPT-4o

Компания уже начала открывать доступ к новой модели пользователям ChatGPT Plus и Team, а скоро его получат и корпоративные клиенты по подписке Enterprise (лимиты на число запросов обещают сделать довольно высокими).

В бесплатной версии ChatGPT Free тоже можно будет попробовать новые возможности GPT-4o, но меньшее количество раз (например, в пять раз меньше, чем в ChatGPT Plus). При достижении лимита ChatGPT автоматически переключится на версию GPT-3.5.

Кроме того, OpenAI запускает новое приложение ChatGPT для macOS (для пользователей Plus). На макбуке вызвать чат-бота можно с помощью простого сочетания клавиш (Option + Пробел). В будущем в приложении появятся новые аудио- и видеовозможности GPT-4o. Выпустить версию приложения для Windows компания планирует позднее в этом году.

Текст: Наталья Травова

Источник: OpenAI

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!