Российские исследователи из Университета Иннополис изобрели новый способ управления автономным транспортом с применением сквозного обучения нейронных сетей и получили на него евразийский патент. Система позволяет автомобилю напрямую, без сложной ручной обработки, интерпретировать данные с камер и лидаров, прогнозировать траекторию и выдавать команды для движения. Это станет основой для более безопасных, надежных и самостоятельных автономных систем, которые способны работать в сложных погодных и дорожных условиях, минимизируя риски, связанные с человеческим фактором. Подробностями с Let AI be поделилась пресс-служба вуза.

Изобретение решает ключевую проблему создания точных и производительных систем для автономного транспорта. По словам разработчиков, традиционные подходы часто требуют раздельной обработки сигналов от разных датчиков и сложной ручной настройки алгоритмов. Предложенный в Университете Иннополис метод основан на сквозном обучении. Эксперты обучили нейронную сеть TransFuser на входных сигналах — необработанных пикселях изображений с камер и точках облака данных с лидара, которые, выявляя сложные паттерны в данных, сразу генерируют управляющие команды: продолжать движение, объехать препятствие, повернуть или остановиться.

Архитектура модели TransFuser состоит из двух частей, имитирующих процесс принятия решений водителем: сети синтеза и прогнозирования. Сеть синтеза на основе трансформера выступает в роли «мозга», отвечающего за восприятие окружающей обстановки. Она разделена на две параллельные ветви, обрабатывающие информацию разного типа: ветвь изображения анализирует картинку с камеры при помощи серии сверточных кодировщиков, извлекая визуальные признаки и мелкие детали, а ветвь вида с высоты птичьего полета обрабатывает облако точек с лидара. Это дает системе точное геометрическое и пространственное понимание трехмерной структуры окружающего мира: расположение препятствий, рельефа, дистанции между объектами.

Модуль трансформера выполняет ключевую операцию — совместно обрабатывает и синтезирует информацию от обеих ветвей. Его ядро вычисляет значимость каждого элемента данных относительно других. Например, система может определить, что светофор на изображении соответствует конкретному участку в 3D-пространстве и оценить приоритет этой информации для управления автомобилем.

Сеть прогнозирования пути получает обогащенные и объединенные признаки от трансформера и прогнозирует оптимальную траекторию движения беспилотного автомобиля на несколько шагов вперед. Эти данные затем поступают на стандартные пропорционально-интегрально-дифференцирующие регуляторы, которые непосредственно управляют рулевым механизмом, ускорением и торможением транспортного средства.

«Для повышения надежности и способности модели к обобщению в процесс обучения нейросетей мы включили четыре вспомогательные задачи: оценку глубины по 2D-изображению, семантическую сегментацию сцены, построение детальной HD-карты дороги и детекцию 3D-объектов с помощью ограничивающих параллелепипедов. Это позволило ИИ сформировать более целостное и устойчивое представление об окружающей среде», — пояснил Бадер Рашид, старший научный сотрудник Лаборатории инновационных технологий обработки видеоконтента Университета Иннополис:

Эффективность архитектуры изобретения подтверждена в нескольких средах. Первичное обучение и тестирование проводились в реалистичном симуляторе городского движения CARLA. Для оценки способности модели работать с реальными данными специалисты использовали признанный мировой эталон — открытый набор данных KITTI Vision, содержащий синхронизированные записи с камер и лидаров реального автомобиля.

«Важно, что гибкость подхода позволила адаптировать наш метод и для других типов беспилотных транспортных средств. Наша команда успешно перенесла и протестировала модель на данных, полученных c беспилотных судов, что демонстрирует универсальность предложенной архитектуры для различных сред передвижения», — подчеркнул Мостафа Хегази, ассистент Лаборатории интеллектуальных робототехнических систем Университета Иннополис.

Метод запатентовали эксперты Межотраслевого центра трансфера технологий Университета Иннополис. Патент действует на территории государств-участников Евразийской патентной конвенции: Азербайджана, Кыргызстана, Армении, Беларуси, Казахстана, Таджикистана, России и Туркменистана.

Напомним, недавно Минтранс РФ представил законопроект о беспилотных авто.

Изображения: jcomp / Freepik (в шапке); пресс-служба Университета Иннополис

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!