Исследователь Джуно Ли и его коллеги обучили алгоритм нейронной сети, разработанный для управления четвероногим роботом, в моделируемой среде, похожей на видеоигру. Она воспроизводит местность из холмов, ступеней и лестниц, передает портал NewScientist.
Ученые показали алгоритму, в каком направлении должен двигаться робот, а также поставили ограничения по тому, как быстро он может поворачиваться.
Затем они запустили алгоритм, делая случайные движения в симуляции. Исследователи вознаграждали робота за правильное движение и наказывали в противном случае. Накапливая награды, нейронная сеть научилась перемещаться по разнообразной местности.
В данный момент большинство роботов реагируют в реальном времени на измерения своего окружения с помощью заранее запрограммированных реакций, сталкиваясь с каждой проблемой в первый раз.
Нейронная сеть позволяет роботу опираться на опыт, полученный из ошибок, и, предварительно обучив алгоритм в симуляции, исследователи могут ограничить риски и снизить затраты.
«Мы не можем перенести его на реальную местность, на которой мы хотим его тренировать, потому что это может повредить роботу, а это очень дорого», – сказал Ли.
Изначально исследователи использовали небольшую нейронную сеть, которая была предварительно запрограммирована с учетом знаний о моделируемой среде, что позволило алгоритму быстро учиться, принимая входные данные от виртуальных датчиков и запоминая их. Затем они передали эти знания в большую сеть, используемую для управления настоящим роботом.
Используя этот опыт, робот смог двигаться со скоростью 0,452 метра в секунду по мшистой земле – в два раза быстрее, чем он может двигаться с помощью своей стандартной программы.
Ранее Ростех представил нейросеть для управления группой боевых роботов. При этом эксперты отметили, что для работы с нейросетями некоторые российские разработчики, возможно, используют зарубежные «железо» и софт.