Как уточнили в пресс-службе, разработка поможет повысить точность работы голосовых помощников в шумных условиях или при управлении тяжелой техникой, передает ТАСС.
Специалисты СПб ФИЦ РАН в своей разработке предложили нейросеть, которая собирала бы два вида информации по аналогии с человеческим восприятием – звуковую форму речи и движения губ, которые ее непременно сопровождают.
В СПб ФИЦ РАН пояснили, что в основе приложения лежит нейросетевая модель, которую научили распознавать по аудиовизуальным сигналам (видеозаписям, сопровождающимся звуком) несколько сотен наиболее распространенных команд. По словам ученых, созданная нейросеть способна воспринимать аудиовизуальный сигнал и автоматически принимать решение о том, какие данные при распознавании дадут максимальную точность.
Программа тестировалась с помощью водителей шумных большегрузных автомобилей одной из логистических компаний в России. Результаты подтвердили предположение о том, что совмещение двух видов считывания информации повышает эффективность работы алгоритмов – только по чтению губ точность распознавания команд составила 60-80%, а в комбинации со звуковым сигналом – более 90%.
Ранее российские ученые создали технологию для «воссоздания» снов при помощи нейрогарнитуры.