파운데이션 모델은 AI의 대표적인 방법론 중 하나로, 최근 가장 주목받는 접근 방식입니다. 방대한 데이터를 한 번 학습해두면 언어 처리, 이미지 생성, 번역 등 다양한 과제에 쉽게 적용할 수 있는 범용성과 적응력을 갖추고 있습니다.
네이버랩스는 2021년부터 파운데이션 모델을 로봇 AI 연구 전반에 적용하고 있습니다. 아마 전세계 로봇 연구소에서도 가장 선제적인 대응이었을 것입니다. 특히 로봇이 공간을 인식·해석하는 공간지능(Spatial AI)과 물리적 환경에서 움직이고 사람과 상호작용하는 물리지능(Physical AI)을 파운데이션 모델 기반으로 탐구하며 놀라운 성과들을 지속하고 있습니다.
현실을 읽고 반응하는 로봇으로
기존에는 로봇을 개발할때 객체 인식, 경로 계획, 제어 등 각각의 과제를 위한 복잡한 파이프라인이 필요했습니다. 하지만 현실 세계는 언제나 예측 불가능한 변수로 가득합니다. 단순히 미리 정해둔 규칙만으로는 로봇이 모든 상황에 대응하기 어렵기 때문에 스스로 적응하고 유연하게 대처할 수 있는 지능이 필수입니다.
파운데이션 모델을 도입하면서, 로봇은 시각 정보를 종합적으로 해석하고 상황을 이해해 스스로 목적을 판단하고 행동하는 방식으로 진화하고 있습니다. 마치 사람이 두 눈으로 3차원 공간을 인식하고 어디로 가야 할지 판단하는 것처럼 말이죠. 로봇의 액션(행동)이나 사람과의 인터랙션(상호작용) 연구에도 큰 변화가 시작되었습니다.
예를 들어 사전에 제작된 지도 없이도 새로운 공간에서 길을 찾아 이동하거나, 사람의 자세와 행동을 이해해 안전하게 상호작용할 수도 있습니다. 누군가 로봇에게 급히 다가올 때 단순히 '위험 요소'나 '장애물'로 인식하는 것이 아니라 미소, 눈맞춤, 손짓 등 다양한 사회적 신호를 분석해 '사용자'일 가능성을 인지할 수 있죠. 자연어로 명령을 받아 복잡한 작업을 수행하는 것도 가능해집니다. 또한, 로봇의 형태와 수량이 다양해지는 상황에서도, 파운데이션 모델은 새로운 로봇 유형에 쉽게 적용할 수 있는 범용성과 확장성을 제공합니다.
이러한 기술의 대표적인 성과가 네이버랩스 유럽이 개발한 더스터(DUSt3R)입니다. 더스터는 복잡한 현실 공간을 3차원으로 정밀하게 복원하는 AI로, 로봇의 입체적인 공간 이해와 추론을 가능하게 합니다. 덕분에 로봇이 미지의 환경에 놓이더라도 더스터를 통해 공간을 파악하고 효율적으로 이동하거나 작업을 수행할 수 있습니다. 더스터는 기존과 다른 AI 접근 방식을 통해 연구 패러다임을 변화시켰다는 평가를 받으며, 공개 1년 만에 500회 이상 인용되며 글로벌 빅테크 기업들의 활발한 후속 연구까지 이끌어 내고 있습니다.
더스터의 최신 연구 데모: 다중 시점에서 3D 공간을 실시간 재구성하는 모습
실환경 데이터로 진화하는 로봇 지능
로봇이 지능과 자율성, 그리고 다재다능함을 갖추려면 실제 환경에서 수집된 고품질 데이터가 필수입니다. 실험실의 제한적 데이터, 시뮬레이터의 합성 데이터만으로는 여전한 한계가 있습니다. 현실의 복잡함과 예측 불가능성을 완전히 재현할 수 없기 때문입니다. 사람이 갑자기 복도를 가로막거나, 예상치 못한 장애물이 나타나는 상황처럼 말이죠. 실제 환경에서 사람들과 상호작용하며 수집되는 다양한 데이터를 통해 로봇은 공간을 인식하고 목적을 이해하며 유연하게 행동하는 법을 배울 수 있습니다.
네이버랩스는 이를 위해 사람들이 일하고 이동하는 현실 공간에서 로봇을 테스트하고 있습니다. 대표적인 공간이 세계 최초의 로봇 친화형 빌딩 1784와 아시아 최대 규모의 데이터센터 각 세종입니다. 이곳에서는 백 대가 넘는 로봇들이 사람과 함께 공존하며 일상 업무를 수행합니다. 서비스 로봇 '루키', 데이터센터 운영을 지원하는 '가로', '세로', '알트비' 등이 실제 업무 환경에서 활동하고 있습니다.
1784에서는 지금까지 6만 건 이상의 로봇 서비스를 수행하며 풍부한 운영 데이터를 축적하고 있습니다. 이렇게 수집된 실환경 데이터는 로봇이 공간을 인식하고 목적을 이해하며 유연하게 행동하는데 필요한 핵심적인 자산으로 활용되고 있습니다. 네이버랩스가 만들어가는 것은 단순한 로봇이 아닙니다. 파운데이션 모델 연구, 실환경 데이터, 그리고 진화하는 테스트베드가 결합된 로봇 AI 플랫폼입니다.
함께 읽을만한 글