Все новости

В Сколтехе научились манипулировать взглядом человека на изображениях.

Ученые из Сколтеха разработали алгоритм, который изменяет направление взгляда человека на видео в реальном времени.
Во время разговоров по Skype наш собеседник обычно смотрит на экран, а не в камеру, из-за чего его взгляд направлен вниз или в сторону. С похожей проблемой сталкиваются и телевизионные дикторы, которые должны одновременно читать текст и смотреть на зрителей.

Ученые из Сколтеха создали систему, основанную на обучении нейронной сети. Сначала в кадре при помощи специального алгоритма локализуется область глаза и вычисляется набор характерных точек. Эти данные вместе с углом, на который нужно скорректировать направление взгляда, поступают в нейросеть, которая рассчитывает, как нужно деформировать изображение глаза, чтобы казалось, будто он смотрит прямо.

По словам разработчиков, система может перенаправлять взгляд на произвольный угол и в любом направлении. Выглядит это так:



Разработчики считают, что их проект востребован не только для видеосвязи, но и в фото- и киноиндустрии для обработки отснятого материала после съемки.

В октябре результаты исследования будут представлены в Амстердаме на 14-й Европейской конференции по компьютерному зрению.