네이버랩스 유럽의 Multi-HMR 2는 이미지 속 여러 사람의 자세와 체형, 위치를 3D로 복원하고, 영상 속 동일 인물의 움직임을 추적하는 AI 모델입니다. 바탕이 되는 기술은 ‘휴먼 메시 복원(Human Mesh Recovery, HMR)’입니다. 사진이나 영상에 나타난 사람의 몸을 입체적인 표면 구조로 재현하는 기술로, 관절의 위치뿐 아니라 몸의 형태도 표현합니다.
기존에는 사람을 먼저 찾은 뒤 한 명씩 복원하는 방식이 일반적이었는데, 네이버랩스 유럽에서 2024년 Multi-HMR를 통해 여러 사람을 한 번에 복원하는 방식을 선보였습니다. Multi-HMR 2는 이를 발전시켜 공간상 위치를 더 정확하게 추정하고, 영상 속 같은 사람을 이어서 파악하는 기능을 더했습니다.
Multi-HMR 2의 핵심 특징은 다섯 가지입니다.
사람이 어디에 있는지 더 정확하게 파악
Multi-HMR 2는 이미지에서 카메라 정보를 직접 추정해, 각 사람이 카메라에서 얼마나 떨어져 있는지 실제 거리 단위로 파악합니다. 카메라 정보를 미리 알지 못해도 사람들의 3D 위치와 서로 간의 거리 관계를 보다 정확하게 복원할 수 있습니다. 또한 이미지 전체를 한 번에 분석해, 여러 사람이 겹치거나 몸의 일부가 가려진 장면에서도 안정적으로 사람을 구분하고 복원합니다.
Multi-HMR 2의 처리과정
Multi-HMR 2는 자체 개발한 파라메트릭 3D 바디 모델 Anny를 적용해 다양한 연령과 체형을 정확하게 복원합니다. Anny는 영유아부터 노년층까지 표현할 수 있어, 성인 중심의 바디 모델이 어린이를 작은 성인처럼 복원하던 한계를 줄입니다. 사람마다 다른 신체 비율을 반영해 체형을 자연스럽게 복원하고, 3D 위치도 더 정확하게 추정합니다.
같은 사람을 추적하고, 로봇의 주변 인식을 돕다
Multi-HMR 2에서 새롭게 추가된 또 하나의 핵심 기능은 동일 인물 추적입니다. 정지된 이미지의 사람을 3D로 복원하는 데 그치지 않고, 영상의 연속된 장면에서 같은 사람이 어디로 이동하는지 이어서 파악합니다.
이를 통해 여러 사람이 서로 교차하거나 잠시 가려지는 상황에서도 각 인물의 위치와 움직임을 지속적으로 추적합니다. 이러한 정보는 로봇이 사람과 같은 공간에서 움직이는 데 도움이 될 수 있습니다. 주변 사람의 위치와 움직임을 고려해 이동 경로를 계획하거나, 서비스를 제공할 대상을 계속 알아보는 데 활용할 수 있기 때문입니다.
네이버랩스 유럽은 앞으로 손과 얼굴을 더 정교하게 복원하는 연구를 이어갈 계획이며, 시간 정보 및 다양한 시점의 이미지를 활용해 전반적인 정확성과 안정성 또한 높여갈 예정입니다.
더 알아보기