사람의 두 눈은 약 6~7cm 떨어져 있습니다. 그래서 두 눈이 약간 다른 각도로 세상을 바라보게 되죠. 이를 양안시차(binocular parallax)라 합니다. 사람은 양안시차를 뇌에서 재구성하여 세상을 3차원 입체로 지각하게 됩니다. 네이버랩스 유럽에선 이 원리를 로봇 AI에 적용하고 있습니다.
CROCO, 로봇에게 세상을 보여줄 AI 모델
네이버랩스 유럽 연구소장인 마틴 휴멘버거(Martin Humenberger)은 지난 단23 세션에서 '로봇을 위한 AI'에 대해 발표하며 다음과 같이 말한 바 있습니다.
"제어되지 않은 환경에서 로봇이 자율적으로 작업을 수행하는 것은 너무나 어렵죠. 제어가 안된다는 건 예상할 수 없다는 의미거든요. 그런데 파운데이션 모델(Foundation Model)로 이 한계를 돌파할 수 있습니다."
파운데이션 모델은 방대한 양의 데이터를 AI 스스로 규칙을 찾아 학습한 모델을 의미합니다. 네이버의 하이퍼클로바X, 오픈AI의 GPT-4와 같은 LLM(대규모 언어 모델)도 일종의 파운데이션 모델입니다. 네이버랩스 유럽에선 '크로코(CROCO)'라는 파운데이션 모델을 2021년부터 개발해 왔죠. 그런데 독특하게도 크로코는 언어 모델이 아니라 로봇 등에 적용하기 위한 비전 파운데이션 모델입니다.
LLM이 수많은 문장 데이터를 학습한다면, 크로코는 같은 장면을 다른 시점으로 촬영한 이미지들을 학습하여 3차원 세계를 이해한다는 점이 결정적인 차이입니다. 이는 사람이 두 눈으로 3차원을 인식하는 방식과 아주 비슷하죠.
크로코를 로봇에 적용하면 사람처럼 공간을 탐색할 수 있게 하고, 복잡한 상황이나 환경 변화도 빠르게 적응할 수 있습니다. 이런 로봇 AI를 연구하는 이유는 로봇이 일상 공간에서 사람과 더욱 안전하게 상호작용하며 다양한 서비스를 제공하기 위함이죠.
DUSt3R, 이미지를 3D로 바꿔주는 AI 도구
크로코와 같은 파운데이션 모델이 각광받는 이유는 따로 있어요. 하나의 모델로 다양한 AI 도구를 만들 수 있다는 점입니다. 즉, 구체적인 용도에 따라 모델을 미세 조정(fine tuning)하여 활용성을 무궁무진하게 확장할 수 있습니다. 네이버랩스 유럽의 연구자들도 크로코를 기반으로 놀라운 프로젝트들을 동시에 진행하고 있죠. '더스터(DUSt3R)'도 그중 하나입니다.
더스터는 한 번의 프로세싱으로 2D 이미지를 순식간에 3D로 만들어주는 AI 도구입니다. 더스터의 성능은 굉장합니다. 몇 장의 사진, 또는 단 한 장의 사진을 입력해도 몇 초 만에 공간을 3D로 재구성하고 기하학 정보까지 추출합니다. 이렇듯 3D 재구성과 매핑을 동시에 할 수 있다는 점은 더스터만의 놀라운 능력입니다. 기존의 방법론은 프로세스도 복잡하고 리소스를 많이 요구하지만, 더스터는 그저 사진 몇 장을 입력하기만 하면 됩니다.
이 때문에 더스터는 공개되자마자 뜨거운 관심을 받고 있습니다. 글로벌 AI 컨퍼런스에서 논문 채택 후 코드가 공개되자마자, “더스터는 공간을 재구성하는 전통적인 기술들과 완벽히 차별화된 고유한 방법론”아라는 평가와 반향을 이어가고 있습니다.
로봇뿐만 아니라 서비스 개발자들에게도 영감을 주고 있습니다. 너무나 쉽게 사진으로부터 3D 공간 정보를 추출할 수 있기 때문입니다. 3차원 정보를 제공하는 부동산 서비스, 사진에서 옛 공간을 실감나게 재현하는 몰입형 콘텐츠, 고가의 센서 없이 카메라만으로 3차원 공간을 빠르게 파악하고 다양한 상호작용을 수행하는 공간 컴퓨팅 기반의 서비스 등이 그 예가 될 수 있겠죠.
AI가 일상의 물리 세계에 적용되며 많은 혁신을 만들고 있습니다. 크로코는 다양한 혁신의 시작이고, 더스터는 그 혁신의 예시일 것입니다. 지금 이 순간에도 네이버랩스 유럽에선 더 강력한 모델과 업그레이드된 AI 도구들이 개발되고 있습니다. 다음은 무엇일까요? 놀라운 소식을 계속 전하겠습니다.