Крупные языковые модели по-прежнему с трудом справляются с расчетом налогов из-за сложности и запутанности законодательства. К такому выводу пришла редакция The New York Times, протестировав четыре популярных чат-бота: Gemini от Google, ChatGPT от OpenAI, Claude от Anthropic и Grok от xAI.

Журналисты поручили ИИ рассчитать налоги для восьми вымышленных ситуаций, используя учебные материалы сервиса TaxSlayer. Как передает издание, результаты оказались плачевными: в среднем чат-боты ошиблись в расчетах суммы возврата или задолженности перед Налоговым управлением США (IRS) более чем на $2000. Даже имея на руках все необходимые формы, нейросети допускали грубые просчеты.

Аналитик Бенедикт Эванс объяснил изданию, что проблема кроется в самой архитектуре нейросетей. Они предсказывают следующее слово в последовательности, что делает их сильными в чтении и письме, но слабыми в запоминании множества взаимосвязанных данных и выполнении строгих процедур.

«Модели становятся намного лучше каждые шесть месяцев. Но они все еще выдают примерно правильный ответ, а вам это не подходит», — приводит его слова The New York Times.

Эксперт Стэнфордского института искусственного интеллекта Эрик Бринолфссон назвал это явление «налоговым парадоксом». В отличие от традиционного софта для подготовки налоговых деклараций (например, TurboTax), работающего по четкой логике «если…, то», языковые модели действуют как механизм предсказания. Они могут превосходить человека во многих задачах, но терпят неудачу там, где людям все кажется простым.

В ходе эксперимента Claude от Anthropic продемонстрировал способность рассуждать: осознав нехватку данных, он скачал форму с сайта налоговой службы и заполнил ее. В этом конкретном случае расчет оказался верным, но в других тестах та же модель ошиблась. «Нью-Йорк Таймс» отмечает, что чат-боты могут быть полезны как помощники для перевода сложных инструкций с «юридического» на простой язык, однако эксперты настаивают на обязательном сохранении человеческого контроля при подготовке налоговых отчетов.

Текст: Майя Цветкова

Изображение: Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!