Ученые из Лаборатории вычислительной фотографии Университета Симона Фрейзера в Британской Колумбии разработали невероятный инструмент, способный воссоздать освещение на фотографиях в 3D. Это новшество открывает новые горизонты для фотографов и видеографов, позволяя изменять освещение с высокой степенью точности, как это делается в графических приложениях.
Исследовательский проект, описанный в последней работе "Физически контролируемое переосвещение фотографий", предлагает управление освещением, которое обычно доступно только художникам компьютерной графики. Хотя существуют основанные на ИИ инструменты, которые могут менять освещение, они работают на основе нейронных сетей, которые пытаются угадать, как свет будет взаимодействовать с сценой.
Новый инструмент использует нейронную сеть, но не на всех этапах переосвещения. Вместо этого он создает 3D-карту 2D-изображения, что позволяет создавать настраиваемую карту света, специфичную для каждого изображения.
Когда фотография загружается в данный софт, он создает 3D-версию сцены без освещения. На этом этапе используется методология, разработанная ранее командой Саймона Фрейзера. Ученые оценили 3D-сцену и добавили виртуальные источники света, как в реальной фотостудии.
"После создания 3D-сцены пользователи могут размещать виртуальные источники света. Мы интерактивно моделируем эти источники с использованием проверенных методов компьютерной графики", - говорит Крис Кареага, ведущий автор исследования.
Пользователи могут просматривать предварительный результат, который даст им информацию для выбора желаемого освещения с физически точным рендерингом. Затем нейронная сеть завершает создание фотореалистичного изображения.
Хотя на данный момент новая технология работает только с неподвижными изображениями, команда стремится расширить систему на видео, что будет полезно для кинематографистов и специалистов по визуальным эффектам.
"Эта технология может существенно сэкономить время и деньги независимым режиссерам и создателям контента", - добавляет доктор Ягыз Аккой, руководитель лаборатории вычислительной фотографии.

