노블 뷰 신세시스(Novel View Synthesis, 이하 NVS)는 여러 장의 사진이나 영상 데이터를 이용해 새로운 카메라 시점에서의 3D 장면을 만들어내는 AI 기술입니다.
스마트폰에 있는 사진들을 떠올려보세요. 각 사진에는 카메라 시점에서의 장면이 찍혀있을 것입니다. 같은 장면을 다른 각도의 사진으로 다시 보는 건 불가능했습니다. 그런데 사진 몇 장을 분석해서 기존에 촬영하지 않은 완전히 새로운 각도의 장면을 만들어낼 수 있다면 어떨까요? 이를 가능하게 하는 기술이 바로 NVS입니다. 이름 그대로 ‘새로운(Novel) 시점(View)을 합성(Synthesis)한다’는 뜻입니다.
NVS는 네이버랩스에서도 꾸준히 연구해 온 기술 분야로, 최근 공개된 드라마에도 네이버랩스의 NVS가 적용되었습니다. 디즈니+ 드라마 ‘북극성’에서 한적한 도로에서 촬영한 장면에 NVS 기술로 구현한 도심 특유의 풍경을 자연스럽게 합성해, 마치 실제 도심에서 촬영한 듯한 생생한 장면을 완성했습니다.
대규모 액션 장면은 높은 몰입감을 주지만, 실제 도심에서 촬영하기에는 안전, 교통, 인력 통제 등 많은 제약이 따릅니다. 이에 따라 한적한 장소에서 촬영한 뒤 후반 작업으로 도심 배경을 합성하는 방식을 활용하는데, 이때 다른 장소에서 촬영된 장면을 자연스럽게 합성하려면 필요한 시점에서 렌더링이 이루어져야 합니다. NVS는 실제 공간 데이터를 기반으로 원하는 시점의 장면을 사실적으로 생성해 이러한 과정을 가능하게 합니다. 덕분에 물리적 제약을 줄이면서도 다양한 연출 가능성을 열 수 있습니다.
NVS를 활용한 드라마 속 도시 배경 구현 (출처: 디즈니+ 북극성)
자체 개발한 디지털 트윈 장비 P1으로 촬영한 네이버 지도 거리뷰 이미지를 활용해 실제 도시의 3차원 공간을 정밀하게 복원하고, 이를 기반으로 3차원 공간 표현 방식을 학습시켰습니다. 이 과정에서 움직이는 사람이나 차량은 제거하고, 건물과 배경을 정밀하게 처리해 실제와 가까운 품질을 구현했습니다. 그 결과 기존에 촬영하지 않은 새로운 시점에서도 사실적이고 자연스러운 도시 풍경을 만들어낼 수 있게 되었고, 이를 드라마 장면의 배경에 적용해 더욱 현실감 있는 화면을 완성했습니다.
네이버 지도 거리뷰 기반 NVS 구현 과정
앞서 네이버랩스는 넷플릭스 '스위트홈 시즌2'에서 3D 디지털 트윈 기술로 서울의 사실적인 스카이라인을 구현했던 바가 있습니다. 그리고 이번에는 거리뷰 이미지를 활용해 새로운 시점의 장면을 만들었습니다. 이 기술들은 서로 다른 방식이지만, 모두 현실 공간을 디지털로 이해하고 재창조하는 공간지능 기술이라는 공통점을 가지고 있습니다.
네이버랩스의 디지털 트윈 기술로 3D 모델링한 도시 배경 모습 (출처: 넷플릭스 스위트홈2)
영상 콘텐츠 제작 분야에서 공간지능 기술의 활용 가능성은 무궁무진해 보입니다. 프리프로덕션 단계에서는 실제 촬영지 답사 없이도 다양한 시점에서 공간을 미리 살펴볼 수 있고, 예전에는 특정 장소에 가서 직접 촬영해야만 얻을 수 있었던 영상을 이제는 데이터만으로 생성할 수도 있습니다. 또한 시간이 흘러 변화한 장소의 과거 모습이나, 접근이 어려운 지역의 장면을 생생하게 재현하는 것도 가능하죠. 후반 작업 단계에서는 배경을 확장하고 장면의 완성도를 높이는 데 활용할 수 있을 것입니다. 단순히 비용을 줄인다는 접근이 아니라, 창작자의 자유도를 높인다는 관점에서 공간지능 기술의 가능성을 바라보고 있습니다.
