Программу научили создавать 3D-модели людей по словесному описанию

Майли Сайрус и Денни Де Вито: фото и 3D-модели, созданные программой Body Talk. Иллюстрация из статьи

Ученые из Германии, США и Италии написали программу, которая воссоздает трехмерный образ человека по фотографии и словесному описанию. Благодаря своей точности и доступности эта система может отчасти заменить 3D-сканирование и упростить онлайн-шоппинг.

Авторы программы предположили, что у людей есть общие представления о том, каким внешним характеристикам соответствуют те или иные эпитеты. Для моделирования человеческого тела использовали модель SMPL (Skinned Multi-Person Linear model), в которой человеческую фигуру описывают восемь основных параметров.

Чтобы установить соответствие между словесным описанием и внешним видом фигуры, ученые случайным образом сгенерировали 128 мужских и 128 женских фигур, которые добровольцы затем описывали при помощи 30 английских слов из списка. Шкала для каждого определения включала пять градаций: «совсем не подходит», «не подходит», «нейтрально», «подходит» и «полностью соответствует».

Затем данные по каждому эпитету усредняли, а фигуру описывали вектором из 30 значений. При помощи машинного обучения авторы получили соотношение между 30 словесными характеристиками и значением восьми параметров в SMPL.

После этапа обучения исследователи проверили эффективность программы. По фотографии человека и словесному описанию 15 добровольцев программе удалось точно воссоздать фигуру. Чтобы продемонстрировать, как алгоритм воссоздает фигуры исключительно по словесному описанию, ученые смоделировали, как могли выглядеть герои романа «Мальтийский сокол» согласно их описанию в книге.

Программа доступнее и дешевле, чем методы точного 3D-сканирования. Она может облегчить онлайн-шоппинг — подбирать одежду по размеру будет точнее и проще.

Статья с описанием программы опубликована в журнале ACM Transactions on Graphics, а сама она доступна по ссылке.

Недавно группа американских ученых разработала алгоритм, позволяющий воссоздавать 3D-модели лиц, и вместе с Body Talk обе программы позволят создавать полную трехмерную модель человека по фотографии.
Теги:

Читать еще на Чердаке: