네이버 지도는 전국 주요 랜드마크를 3차원으로 생생하게 탐색할 수 있는 ‘플라잉뷰 3D’ 서비스를 선보였습니다. 네이버랩스는 이 서비스에 NVS (Novel View Synthesis) 기술을 적용해 경주 역사유적지구, 서울 코엑스, 인천 송도 센트럴파크, 전주 한옥마을, 부산 해운대 등 다양한 지역의 자유 시점 영상을 제작했습니다.
원하는 시점대로 영상을 자유롭게
NVS는 여러 위치에서 촬영한 실제 이미지를 학습해, 촬영하지 않은 새로운 시점의 영상을 만들어내는 AI 기술입니다.
플라잉뷰 3D는 드론과 거리뷰 P1 차량으로 촬영한 도시 영상을 활용해 다양한 각도와 위치에서 랜드마크를 감상할 수 있습니다. 기존 거리뷰나 항공뷰는 촬영 시점과 경로가 제한적이었지만, NVS를 통해 도시 위를 자유롭게 이동하듯 감상할 수 있는 영상 제작이 가능해졌습니다. 이를 통해 지도 서비스의 시각적 몰입감과 현실감이 한층 높아졌습니다.
이번 랜드마크 영상에 적용한 NVS에는 다음과 같은 기술적 성과가 있습니다.
① 서로 다른 센서 데이터를 통합
파노라믹 매핑 시스템, P1
랜드마크를 더 다양한 시점에서 재현할 수 있도록 드론과 함께 거리뷰 차량(P1)으로 촬영된 영상을 함께 사용했습니다. 하지만 영상의 해상도와 시야 차이가 크기 때문에, 기존 방식으로는 두 데이터를 정확히 맞추기 어려웠습니다. 이를 위해 각 센서 영상에서 단계적인 3차원 복원을 수행한 뒤, 자체 개발한 정합 알고리즘으로 하나의 좌표계에 통합했습니다. 그 결과 상공과 지상 영상이 끊김 없이 전환되며, 하나의 공간으로 자연스럽게 표현할 수 있게 되었습니다.
② 시티스케일의 대규모 광역 학습 최적화
도시 전역의 영상을 일반적인 방식으로 학습하려면 GPU 메모리 사용량과 학습 시간이 급격히 증가합니다. 이를 개선하기 위해 공간을 작은 타일(tile) 단위로 분할하고, 각 영역을 병렬 처리하는 기술을 개발했습니다. 전경(건물·도로 등 사용자가 집중하는 영역)은 세밀한 파라미터로, 배경은 완화된 파라미터로 학습하여 효율적으로 처리하면서도 시각적 완성도를 극대화했습니다. 타일 경계의 부자연스러운 영역은 자동 보정합니다. 결과적으로 도시 단위 데이터를 고품질로 학습하고 유연하게 렌더링 할 수 있는 대규모 NVS 파이프라인을 구축했습니다.
③ 원경과 하늘의 사실적 표현
원경이나 하늘처럼 촬영 데이터가 부족한 영역은 화면이 깨지거나 비어 보일 수 있습니다. 이를 보완하기 위해 원경은 위성영상과 지형의 높낮이 정보를 담은 수치표고모델(DEM)로부터 얻은 지형 정보를 결합해 자연스럽게 재현했습니다. 또한 대기 산란(atmospheric scattering) 모델을 적용해 태양의 위치, 시간, 기상 조건에 따라 실제 하늘처럼 빛이 변화하도록 구현했습니다. 이렇게 만들어진 배경은 3D 영상과 자연스럽게 융합되어, 실제 촬영된 영상처럼 사실적이고 몰입감 있는 장면을 구성합니다.
위 기술적 특징들을 바탕으로 한 실제 제작 프로세스를 간단히 정리하면 아래와 같습니다.
NVS는 미리 촬영된 경로에 묶이지 않고 재촬영 없이 새로운 경로나 시점을 빠르게 제작할 수 있어, 확장성과 효율성이 매우 뛰어난 기술입니다. 또한 네이버랩스의 NVS 파이프라인은 시티스케일 규모의 방대한 데이터를 효율적으로 학습할 수 있습니다. 이러한 기술을 바탕으로 앞으로 더 많은 네이버 서비스에서 새로운 실감형 경험을 선보일 예정입니다.