Исследователи из Оксфордского университета (Великобритания), участвующие в проекте «Человеческий мозг», создали нейронную сеть, которая моделирует непрерывное обучение, подобное человеческому. Вдохновение ученые черпали в работе префронтальной коры мозга, которая отвечает за способность переключаться между различными задачами.

Люди могут последовательно изучать разные задачи. Например, если мы сначала научимся сортировать яблоки по размеру, а затем — те же яблоки по цвету, нам будет легко потом вспомнить то, что мы узнали в обоих заданиях. Для искусственной нейронной сети эта, казалось бы, простая операция чрезвычайно сложна.

Изучение отдельной задачи само по себе не является проблемой для нейросети. Однако, обучаясь второй задаче, сеть полностью забывает то, что она усвоила в первой. Эта особенность машинного обучения была удачно названа катастрофическим забыванием.

Исследователи, работающие в области вычислительной нейробиологии, пытаются с помощью новых алгоритмов добиться того, чтобы нейронные сети непрерывно обучались без катастрофического забывания. Конечная цель состоит в том, чтобы создать нейронные сети, которые достигают того же уровня производительности, что и люди.

Префронтальная кора — область мозга, которая активно поддерживает релевантную информацию о задаче и подавляет нерелевантную с течением времени в процессе, называемом контекстно-зависимым шлюзом. Авторы разработки предположили, что такое хранение выученных задач в различных и независимых нейронных представлениях предотвращает забывание задач, наблюдаемое в стандартных нейронных сетях.

Исследователи внедрили в сеть два новых алгоритма. Первый заставлял блоки сети (искусственные нейроны) реагировать медленнее (в миллисекундном масштабе), чтобы моделировать способность префронтальной коры сохранять информацию о задаче с течением времени.

Второй алгоритм построен на простом биологическом принципе, известном как правило обучения Хебба: «нейроны, которые активируются вместе, соединяются вместе». Благодаря этому алгоритму связи между единицами, которые кодируют информацию, относящуюся к соответствующей задаче, специально усилены, а информация, не относящаяся к задаче, подавляется.

В результате новая нейросеть продемонстрировала хорошую способность изучать эквиваленты задач по сортировке яблок последовательно, подобно людям, тогда как стандартная нейронная сеть работала лучше, когда ей приходилось осваивать обе задачи одновременно.

Это исследование — шаг вперед в области машинного обучения и к нейротехнологиям, например для создания более умных роботов.

Источник: Human Brain Project

Изображение: Unsplash

Подписывайтесь на каналы Let AI be в Telegram и «ВКонтакте» — оставайтесь в курсе главных новостей в сфере искусственного интеллекта!