Все новости

Беспилотный велосипед научился преследовать людей

Для этого в его "мозге" сотрудничают нейросети нескольких типов
Испытания самонаводящегося велосипеда NPG Press / YouTube
Описание
Испытания самонаводящегося велосипеда
© NPG Press / YouTube

Разработанная инженерами из Китая, Сингапура и США микросхема позволила скоординировать действия нейросетей разного типа. Чтобы продемонстрировать ее работу, ученые создали велосипед-беспилотник: он подчиняется голосовым командам, самостоятельно сохраняет баланс, объезжает препятствия и может ехать следом за хозяином.

Искусственные нейронные сети отличаются друг от друга архитектурой и подходят для решения задач разного типа. Современный бум «нейронок» связан с недавними успехами сверточных нейронных сетей, которые крайне эффективны в задачах распознавания образов, но такие нейронные сети хорошо могут решать не любую задачу. Для этого нужно, чтобы несколько нейронных сетей разной архитектуры работали совместно.

С подобной задачей справилась команда инженеров под руководством Ши Лупина (Luping Shi) из Университета Цинхуа. Они сконструировали микросхему Tianjic на основе единых функциональных ядер (FCore). Каждое такое ядро состоит из нескольких блоков, которые копируют структуру нейрона человеческого мозга, — аксона, синапса, дендрита и сомы. Эти части позволяют принимать информацию, обрабатывать ее и передавать дальше. С одним только отличием: инженеры смогли настроить ядро так, чтобы оно могло принимать сигналы от нейросетей нескольких типов и служить для них «переводчиком».

Читайте также: Битва нейросети и лидара. Сможет ли безлидарная Tesla превзойти подход лидарных Waymo и Uber?

156 функциональных ядер расположены в микросхеме слоями, их конфигурация позволяет соединять искусственные нейроны различными способами, образуя разное количество входов и выходов для информации. Площадь чипа — 3,8×3,8 мм, при этом в нем может быть до 40 тысяч искусственных нейронов и до 10 миллионов синапсов. Пропускная способность памяти устройства при этом достигает более 610 гигабит в секунду.

×

Чтобы показать возможности Tianjic, инженеры создали беспилотный велосипед, автоматика в котором полностью заменила человека: на раме были установлены камера и микрофон, моторы отвечали за управление рулем и вращение ведущего колеса, датчики контролировали скорость и навигацию. Управляли движением и ориентацией в пространстве нейросети. Сверточная (CNN) распознавала на кадрах с камеры человека, нейронная сеть с непрерывным аттрактором (CANN) следила за его фигурой, импульсная (SNN) распознавала голосовые команды, а многослойный перцептрон (MLP) отвечал за удержание баланса велосипеда и контролировал направление движения.

Схема датчиков, установленных на самонаводящемся велосипеде. Luping Shi et al. / Nature
Описание
Схема датчиков, установленных на самонаводящемся велосипеде. Luping Shi et al. / Nature

Tianjic позволила всем этим нейросетям работать параллельно и совместно: она получала входные данные от одних (например, изображения человека) и передавала другим (например, отвечающим за движение к цели). Благодаря децентрализованной архитектуре микросхемы испытания прошли успешно: велосипед, как это видно на видео, справился со всеми задачами.

''

Первоначальный эксперимент, впрочем, был довольно прост: препятствия были несложными и четко видны на камеру, алгоритмам не нужно было различать какого-то определенного человека из множества — он был один, тесты проводились в хорошую погоду, не мешающую видимости, а голосовые команды давались только на одном языке и так далее. В дальнейшей работе условия работы алгоритмов можно легко усложнить, пишут инженеры.

Авторы работы надеются, что разработанный ими чип ускорит разработку устройств с машинным интеллектом, которые легко найдут применение в современных технологиях.