Технологію "заміни осіб" face2face протестували на відомих політиків – в режимі реального часу система змінювала міміку осіб політиків, серед яких були Джордж Буш, Володимир Путін, Дональд Трамп і Барак Обама, передає FDLX.
Роботу системи "заміни осіб" продемонструвала група дослідників з Університету Ерлангена – Нюрнберга, Інституту інформатики Товариства Макса Планка і Стенфордського університету.
За допомогою датчика глибини зображення система в режимі реального часу будує маску для кожного з двох учасників трансляції. До маски прив'язані умовні мімічні точки на поверхні особи. Зчитуючи деформацію маски джерела, система в режимі реального часу створює фотореалістичну анімовану версію особи приймаючої сторони поверх реального зображення.
Апаратна конфігурація системи, використана в оригінальному дослідженні, доступна для придбання широкого кола осіб. Зокрема, в системі, яку демонстрували на відео, використовувалася камера Asus Xtion PRO і комп'ютер з процесором Intel Core i7 і відеокартою Nvidia GTX980. Обчислювальних потужностей подібної робочої станції вистачає для роботи на льоту з відеопотоком роздільною здатністю 1280×1024 пікселів.
Завдяки технології відстеження руху система може передавати емоції навіть при різному становищі голови джерела і приймаючої сторони, а спотворення стає помітне, тільки коли в кадрі з'являється об'єкт, який перекриває обличчя або голова відхиляється від камери на занадто великий кут. Також система враховує освітлення і колір, тому може використовуватися в якості віртуального дзеркала.
Подібні розробки можуть стати в нагоді при створенні комп'ютерних ігор, при дубляжі фільмів на різні мови або при організації прямих трансляцій на різних мовах.
Головні теми