Команда ученых из Лаборатории вычислительной фотографии при Университете Саймона Фрейзера (SFU) разработала новый инструмент для редактирования изображений, который позволяет в прямом смысле "управлять светом" на уже готовой фотографии, сообщает TechXplore. Проект "Физически управляемое переосветление фотографий" представленный на нынешней конференции SIGGRAPH в Ванкувере, предлагает инновационный подход к задаче повторного освещения - одной из самых сложных проблем в обработке изображений.

Традиционно изменить освещение на уже отснятом кадре можно лишь частично, через генеративные нейросети, которые часто работают как "черный ящик": результат не всегда прогнозируемый, а контроль над ним ограничен. Зато новый метод предоставляет фотографам и дизайнерам физически точный контроль за светом, аналогичный возможностям программ 3D-графики, таких как Blender или Unreal Engine.

[see_also ids="648703"]

"После создания 3D-сцены пользователи могут размещать в ней виртуальные источники света, так же как они это делают в настоящей фотостудии или программном обеспечении для 3D-моделирования", - объясняет Крис Карега, докторант SFU и ведущий автор исследования.

На этом этапе система моделирует сцены с новым освещением с помощью методов компьютерной графики. Для финального вида используется нейросеть, которая превращает этот грубый рендер в реалистичное фото.

"Наш подход уникален тем, что он предоставляет пользователям такой же контроль освещения, который вы ожидаете в 3D-инструментах, таких как Blender или Unreal Engine. Симулируя освещение, мы гарантируем, что наш результат будет физически точным воспроизведением желаемого пользователем освещения", - добавляет Карега.

В исследовании отмечается, что такой инструмент имеет большой потенциал для независимых кинематографистов, фотографов и контент-мейкеров. По словам руководителя лаборатории, доктора Ягиза Аксоя, новая технология позволяет избежать дополнительных затрат на технику, или пересъемки сцен, с сохранением авторского замысла.

"Это важно для творческих людей. Вместо того чтобы полагаться на генеративный ИИ, который угадывает ваше видение, вы сами управляете светом в пределах реалистичной сцены", - подчеркивает Аксой.

[see_also ids="648669"]

В основе новой методики лежит предыдущая разработка команды по внутреннему разложению сцены, которая позволила изолировать объекты, текстуры и структуру кадра. Именно это стало фундаментом для точного переосвещения, и позволяет моделировать, как бы выглядела сцена с другим направлением или типом освещения.

Работа получила положительные отзывы в экспертной среде и уже привлекла внимание представителей индустрии визуальных эффектов. Больше информации и демонстраций доступно на официальной странице Лаборатории вычислительной фотографии SFU.

Недавно окончательно подтвердился один из центральных принципов квантовой механики - комплементарность, согласно которой свет не может одновременно проявлять себя и как волна, и как частица. Ученые воссоздали модернизированную версию классического исследования с двойной щелью, используя вместо щелей 10 тысяч охлажденных атомов, что позволило получить сверхточные результаты. Данные противоречат гипотезе Эйнштейна о возможности совместного наблюдения обоих свойств света и подтверждают правоту Нильса Бора.