Ученые из Университета Рицумейкан в Японии создали 3D модель древнего рельефа на основе всего лишь одной черно-белой фотографии, сделанной 134 года назад. Это достижение привлекло внимание как исследователей, так и фотографов, интересующихся новыми технологиями.
Исследователи разработали нейронную сеть, которая способна анализировать стандартное 2D фото 3D объекта и создавать его цифровую реконструкцию. В данном случае команда сфокусировалась на рельефе, вырезанном в камне и находящемся на храме Боробудур в Индонезии — самом большом буддийском храмовом комплексе в мире и объектом Всемирного наследия ЮНЕСКО.
Черно-белая фотография была сделана 134 года назад, когда рельеф временно обнажили в ходе строительных работ. После съемки он был снова зарыт и оставался скрытым на протяжении более ста лет.
Другие исследовательские группы пытались создать 3D реконструкции, но не справились с высоким уровнем компрессии значений глубины. "Ранее мы предложили метод 3D реконструкции для старых рельефов, основанный на оценке глубины из монокулярных фотографий. Несмотря на 95% точность реконструкции, мелкие детали, такие как человеческие лица, оставались недоступными," — объясняет профессор Сатоши Танака.
Новая методика основана на усовершенствованной оценке глубины, особенно вдоль мягких краев, с использованием новой системы обнаружения краев. Многомодальные нейронные сети команды выполняют три задачи: семантическая сегментация, оценка глубины и обнаружение мягких краев, что способствует улучшению точности 3D реконструкции.
Сетевой архитектуре удалось оптимизировать динамическую функцию потерь, что обеспечило создание четких и детализированных 3D изображений рельефов.