NAVER LABS

AI의 다음 무대는 스크린 속이 아닌, 우리가 살아가는 현실 공간입니다. 네이버랩스는 일찍부터 이 변화에 주목하며 공간지능 기술을 깊이 연구해 왔습니다.

​

네이버 제2사옥 ‘1784’와 데이터센터 ‘각 세종’이라는 거대한 테스트베드를 갖췄다는 점은 네이버랩스만의 압도적인 강점입니다. 이곳에서 매핑 디바이스와 로봇을 직접 개발하고, 방대한 현실 데이터를 축적하며 기술을 매일 실험하고 검증하고 있습니다.

​

그렇다면 AI는 물리적 공간과 어떤 관계를 맺으며 진화하고 있을까요? 네이버랩스에서 활발히 연구 중인 대표 사례를 통해 살펴보겠습니다.

AI와 현실 세계를 연결하려면 먼저 공간을 디지털로 복제해야 합니다. 네이버랩스는 오랜 기간 매핑 디바이스와 알고리즘을 자체 개발하며 역량을 축적해 왔고, 최근에는 완전히 새로운 접근법으로 기술 영역을 넓히고 있습니다.

​

■ 더스터 (DUSt3R)

공간지능 분야의 가장 놀라운 AI 중 하나입니다. 복잡한 장비 없이 2D 이미지만으로 완벽한 3차원 공간을 즉각 복원해 내며, 글로벌 연구 패러다임을 완전히 뒤바꿨습니다. 단 한 장의 사진만으로도 가능합니다. 로봇 역시 카메라 이미지만으로 공간을 단번에 이해할 수 있습니다. DUSt3R는 전 세계 빅테크 기업들의 연쇄적인 후속 연구를 촉발해 왔으며, 현재 상용화 버전 공개를 앞두고 있습니다.

​

■ 노블 뷰 신세시스 (Novel View Synthesis, 이하 NVS)

여러 장의 사진이나 영상을 분석해 한 번도 촬영되지 않은 새로운 시점의 3D 장면을 만들어내는 기술입니다. 물리적 촬영의 한계를 넘어 창작자가 원하는 시점과 구도를 자유롭게 구현할 수 있도록 합니다. 네이버랩스는 빠르게 이 기술을 내재화하였으며, 디즈니+ 드라마 ‘북극성’과 네이버 지도 ‘플라잉뷰 3D’ 등에 적용했습니다. 특히 네이버 지도 서비스의 경우, 자체 개발한 매핑 시스템 ‘P1’이 수집한 데이터를 활용하여 도시 단위의 대규모 NVS 파이프라인을 구축했습니다.

정교하게 복제된 3차원 공간이 준비되었다면, 이제 AI가 ‘눈을 뜰’ 차례입니다. 단순히 사물을 인식하는 것을 넘어, 시시각각 변하는 공간을 입체적으로 이해하는 고도의 지능입니다.

​

■ 비주얼 로컬라이제이션 (Visual Localization, 이하 VL)

공간 인식의 첫걸음은 ‘내가 지금 어디에 있는지’를 정확히 아는 것입니다. VL은 사진 한 장만으로 GPS가 닿지 않는 실내외 환경에서도 3차원 위치와 자세를 정밀하게 파악합니다. 조도 변화, 인테리어가 바뀌는 상황은 물론, 사람이 많이 오가는 복잡한 환경에서도 안정적인 성능을 유지합니다. 1784를 누비는 수많은 자율주행 로봇이 인파 속에서도 길을 잃지 않는 핵심 기술입니다.

​

■ 휴먼스 (HUMANS)

2D 이미지나 영상만으로 공간 속 사람의 3차원 자세, 체형, 미세한 움직임까지 복원하는 연구입니다. 공간을 완성하는 가장 역동적이고 중요한 요소는 결국 ‘사람’입니다. 사람은 로봇이 피해야 할 동적 장애물이면서 동시에 가장 밀접하게 상호작용해야 할 대상이기 때문입니다. HUMANS는 단순히 사람이 어디에 있는지를 넘어, 공간 속에서 어떤 맥락으로 움직이고 있는지 읽어냅니다. 이 기술은 디지털 트윈 내 가상 인간(Digital Human) 구현, 혼합현실(XR) 환경 구축 등 AI와 인간의 교감을 확장하는 다양한 영역으로 연구가 이어지고 있습니다.

AI가 공간을 모델링하고 인식하는 능력을 갖추면, 자연스럽게 다음 단계로 나아갑니다. 그 이해를 어떻게 현실 세계의 ‘행동’으로 연결할 것인가. 이 지점에서 등장하는 매개가 바로 로봇입니다. 로봇은 AI에 물리적 신체를 부여해, 현실 공간에서 직접 행동할 수 있게 합니다.

​

■ 로봇 학습을 위한 시뮬레이션

로봇이 현실에서 안정적으로 작동하려면 수많은 훈련이 필요합니다. 이를 위해 실제 공간을 정밀하게 재현한 시뮬레이션 환경을 구축합니다. 이 가상 공간에서 로봇은 안전하게 반복 학습을 수행하고, 충분히 훈련된 뒤 실제 환경에 투입됩니다. 이처럼 시뮬레이션과 현실을 긴밀히 연결하는 방식은 방대한 실제 공간 데이터를 보유한 네이버랩스이기에 더욱 정교하게 구현할 수 있는 강점입니다.

​

■ 로봇 자율주행

로봇의 이동 기술 역시 빠르게 고도화되고 있습니다. 방대한 공간 데이터를 학습한 파운데이션 모델 기반 AI는 카메라로 수집한 시각정보를 즉시 해석하고, 개별 객체는 물론 공간의 구조와 주변의 움직임까지 통합적으로 이해합니다. 로봇은 보행자와 각종 이동체가 뒤섞인 복잡한 환경에서도 스스로 위험요소를 판단하고 상황에 맞는 최적의 경로를 찾아 이동합니다. 운영은 오히려 단순해졌습니다. 로봇을 움직이기 위해 수많은 규칙을 지정해줘야 했던 과거와 달리, 별도의 규칙을 정해주지 않아도 '알아서' 움직일 수 있기 때문입니다. 정해진 경로를 따르는 수준을 넘어, 실시간으로 상황을 이해하고 경로 찾아내 ‘사람처럼’ 이동하는 고도화된 기술입니다.

더 나아가, 공간과 사물의 3차원 구조를 정밀하게 이해하는 기술은 로봇의 조작(Manipulation) 능력으로도 확장될 수 있습니다. 이동뿐 아니라, 물체의 위치와 자세를 정확히 파악해 집고 옮기는 작업 역시 로봇과 물체 사이의 ‘작은 공간’을 이해하는 문제이기 때문입니다.

​

사실 위의 세 가지 분류는 이해를 돕기 위해 나눈 것입니다. 실제 연구는 서로 촘촘히 연결되어 있습니다. 그리고 지향점 역시 같습니다. AI가 물리적 세계의 복잡성을 깊이 이해하고, 현실의 문제를 직접 해결하는 ‘실질적 조력자’로 진화하는 것입니다.

​