Видеоролики в режиме смешанной реальности, в которых с помощью камеры и зелёного экрана демонстрируется то, что человек видит и делает в виртуальной реальности, уже нельзя назвать инновационными. Тем не менее, двум командам Google, Daydream и Research, удалось привнести в технологию нечто новое — они смогли сделать так, чтобы VR-шлем в режиме смешанной реальности выглядел прозрачным, благодаря чему зритель получает возможность видеть выражение лица пользователя.

Конечно, Google не изобрела способ волшебным образом видеть сквозь шлем. Вместо этого она использовала отсканированную трёхмерную модель лица человека и модифицированную версию устройства виртуальной реальности HTC Vive со встроенной технологией отслеживания глаз, благодаря чему смогла создать цифровую копию лица. Чтобы предотвратить возникновение эффекта «зловещей долины», когда действующий объект вызывает неприязнь и отвращение у зрителей, с головы пользователя шлем никуда не исчезает — он просто становится прозрачным.

Команда Google Research более подробно рассказала, как работает эта технология.

На создание каждой отсканированной версии лица уходит меньше минуты — из них создаётся база данных взглядов и морганий, которые программа затем сопоставляет с данными, получаемыми с помощью встроенной в шлем системы отслеживания взгляда. В дополнение к этому, программное обеспечение осуществляет цветовую корректировку воссозданного лица в соответствии с освещённостью остальной его части.

Пока это всего лишь исследовательский проект — когда он станет доступен разработчикам или потребителям (и станет ли доступен вообще), не сообщается. Тем не менее, Google в будущем всё же намерена предоставить доступ к технологии «отдельным авторам».