Новый метод децентрализованной оптимизации, предложенный учеными Университета Иннополис, МФТИ и ИСП РАН, позволяет обучать глубокие и генеративно-состязательные нейросети в реальных условиях, где соединения между серверами могут прерываться. Как отметили в пресс-службе российского ИТ-вуза, это особенно актуально при координации беспилотных автомобилей, которые обмениваются информацией на ходу, а также в процессе обучения общей ИИ-модели на данных из нескольких организаций, когда интернет-соединение работает с перебоями.

Исследователи сосредоточились на задачах стохастической (вероятностной) негладкой оптимизации и предложили метод, позволяющий эффективно настраивать сложные ИИ-алгоритмы в условиях, когда данные распределены по разным компьютерам, а каналы связи между ними ненадежны и постоянно меняют свои параметры. Это важно для федеративного обучения, роботизированных систем и интернета вещей, где множество устройств должны обучаться одновременно.

«Мы расширили существующую теорию, которая была применима для стабильных гладких задач или статических сетей. Наша работа охватывает более общий и сложный случай — негладкие математические функции, которые часто встречаются в задачах машинного обучения, и динамические сети с переменной топологией. Мы доказали, что наш алгоритм достигает теоретически оптимальной скорости сходимости, то есть его теоретически невозможно улучшить», — пояснил Максим Дивильковский, специалист Центра научных исследований Университета Иннополис.

Метод исследователей строится в том, что математическая задача разделяется на две части: гладкую, отвечающую за коммуникации между компьютерами и ускоряемую методом Нестерова, и негладкую, ответственную за обучение самой модели. При этом вместо глобального усреднения по всей сети, требующего идеальной связи, эксперты предложили использовать локальный обмен только с доступными в данный момент сетями-соседями.

На практике метод ученых позволит сделать обучение ИИ-алгоритмов устойчивым к разрывам сетей: алгоритм продолжит корректно работать, даже если связь между узлами временно пропадет. Предложенный метод оптимален с точки зрения требуемых вычислений и обменов данными для достижения необходимой точности и подходит как для задач обычной оптимизации, так и для более сложных седловых задач, которые лежат в основе современных генеративных моделей искусственного интеллекта.

Статья «Стохастическая децентрализованная оптимизация негладких выпуклых и выпукло-вогнутых задач в сетях с изменяющейся во времени топологией» опубликована в сборнике материалов одной из престижных конференций по искусственному интеллекту и машинному обучению AAAI. Исследование выполнено при поддержке Министерства экономического развития Российской Федерации.

Изображение: vecstock / Freepik

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!