컴퓨터 비전 분야에서 이미지를 통해 실제 세계를 3D로 재구성하는 기술(3D Reconstruction)은 중요한 역할을 합니다. 네이버랩스 유럽은 이 분야에서 3D 비전 파운데이션 모델(VFM)을 기반으로 '더스터(DUSt3R)' 라는 AI 도구를 개발한 바 있습니다. 더스터는 한 번의 프로세싱으로 2D 이미지를 순식간에 3D로 만들어주며 큰 반향을 일으켰습니다. 관련 영상 보기 >
올해 컴퓨터 비전 국제 컨퍼런스 CVPR 2024에서 소개된 '마스터(MASt3R)'는 더스터의 업그레이드 버전으로 크게 향상된 성능을 보여줍니다. (참고로, 마스터는 'Matching And Stereo 3D Reconstruction'에서 따온 이름입니다.)
MASt3R의 특장점
더스터와 가장 두드러진 차별점은 스케일과 디테일입니다. 더스터가 1, 2장의 사진만으로도 3D를 빠르게 재구성할 수 있는 성능으로 주목을 받았다면, 마스터는 수천 장의 대규모 이미지 데이터를 처리할 수 있게 되었습니다. 이를 통해 도시나 건물 내부의 복잡한 환경을 빠르고 정확하게 3D로 모델링합니다. 게다가 정밀도는 더욱 높아졌습니다.
▲ 수천 장의 이미지를 처리할 수 있으며, 더욱 높은 정밀도를 보여주는 MASt3R
지도가 없는 상황에서의 측위(map-free localization) 성능의 향상은 인상적입니다. 예를 들어 로봇이 미지의 환경에 놓일 때 마스터를 활용하면 새로운 공간을 잘 이해하고 효율적으로 이동하거나 작업을 수행할 수 있습니다. 또한 AR/VR 어플리케이션을 개발할 때에도 향상된 측위 정확도와 깊이 정보를 통해 더욱 몰입감 있는 경험을 만들 수 있을 것입니다.
3D 비전 파운데이션 모델의 놀라운 잠재력
앞서 더스터도 혁신적이었지만, 마스터로의 빠른 업그레이드가 시사하는 바는 더욱 큽니다. VFM의 놀라운 확장 잠재력을 증명했기 때문입니다. 더스터와 마스터의 기반이 된 VFM은 네이버랩스 유럽의 '크로코(CROCO)'입니다. 크로코는 같은 장면을 다른 시점으로 촬영한 이미지들을 학습하여 3차원 세계를 이해하기 위한 모델인데, 미세 조정(fine tuning)하여 다양한 AI 도구로 무궁무진하게 확장할 수 있다는 강점을 가지고 있습니다.
우리는 VFM 연구로 더욱 정확하고 효율적인 3D 비전 도구들을 지속적으로 개발해 나갈 계획입니다. 그리고 로봇, 디지털 트윈, 스마트 시티, XR 등 다양한 분야에서 실제 세계를 인식하고 상호 작용하는 방식에 놀라운 혁신을 만들고자 합니다.