강남역의 인파와 낮은 층고, 반복적인 상가 구조에서의 극한 환경 테스트
극한 환경에 대응하는 매핑/측위 기술
1) 빠르게 변하는 동적인 상황에 대응하는 측위 기술
네이버랩스에서는 스마트폰에 부착된 이미지 센서만으로도 6DoF(Degree of freedom) 포즈를 추정할 수 있는 visual localization 기술을 연구 개발하고 있습니다. 이 VL 기술로 실내 공간에서 정확한 위치를 측정할 수 있지만 강남역에서 이미지 만을 이용하여 측위 하는 것은 상당히 어려웠습니다. 강남역 특유의 낮은 천장과 반복적 구조, 어디든 배경 공간을 가리고 있는 수많은 사람들이 정확한 측위를 방해하기 때문이죠.
카메라를 가리는 많은 사람들을 배제하고 배경 정보를 인식하기 위한 human mask 생성 예시
이를 해결하기 위해 이미지에서 각 픽셀별로 어떤 영역에 해당하는지를 구분 짓는 semantic segmentation을 적용하였습니다. 측위에 방해요소가 되는 '사람'에 대한 mask 이미지를 생성한 뒤, 측위 단계에서 배제하여 빠르게 변화하는 주변 환경에 더욱 강인한 visual localization을 구현했습니다.
또한 강남역의 낮은 천장과 반복적 실내 구조는 기계의 눈에 다 비슷하게 판단되어, 기존의 방법론(NetVLAD)으로는 해당 이미지가 어떤 시야각을 갖는지에 대한 위치 정보의 정확도가 크게 떨어집니다. 이를 극복하기 위해 이미지의 보다 디테일한 일부 영역에 대한 정보를 추가적으로 담을 수 있는 image retrieval 기술을 개발하였고, 측위 정확도를 다시 높일 수 있었습니다.
(위) 기존의 NetVLAD 기반, (아래) 네이버랩스에서 개발한 image retrieval 기반 매칭 이미지 결과. 개선 후에 매칭 성공률이 크게 향상되었다
2) 서로 다른 센서의 융합을 통한 매핑 기술
강남역에서 흔히 볼 수 있는, 좁고 긴 계단 또는 에스컬레이터 구간에서의 매핑은 상당히 어렵습니다. 예를 들어, 긴 터널을 차로 지나갈 때 내 차가 터널의 어디쯤에 위치해 있는지를 쉽게 알지 못하는 것과 비슷합니다. 해당 영역에서 기존의 LiDAR 데이터만을 이용하여 매핑을 할 경우, 아래의 이미지와 같이 매핑이 안되는 현상을 일으키곤 합니다.
에스컬레이터 구간에서의 LiDAR raw 스캔 예시, 이동 중임에도 LiDAR 데이터에 거의 변함이 없다
좁고 긴 구간의 공간 환경의 한계를 극복하기 위해서는 벽면의 광고나 선 등의, 카메라를 통한 Visual feature 정보들을 함께 이용해야 했습니다. 이를 위해 LiDAR와 카메라 정보를 융합한 알고리즘을 새롭게 개발하였고, 강남역의 공간적 한계에도 성공적으로 매핑을 수행할 수 있었습니다.
M1X/COMET으로 매핑한 강남역 복층 3D Point Cloud 영상
현실로 한걸음 다가간 AR 트래킹 기술
강남역처럼 복잡한 공간에서는 스마트폰을 계속 들고 있지 않거나, 이동 시 다양한 돌발 상황이 발생하는 사용자 환경도 변수였습니다. 스마트폰의 각도가 바뀌어 카메라 화면이 바닥이나 천장을 보거나, 심지어는 경로를 이탈하는 경우도 고려해야 하죠. 아래는 극한 상황에서의 AR 내비게이션 트래킹 테스트 영상입니다. 트래킹을 유지하기 힘든 하드코어 한 상황에서도 안정적으로 작동하고 있습니다.
현실상황에서의 AR 내비게이션 트래킹 테스트 영상
서울시와의 업무협약을 통해 진행된 이번 데모에는 강남역의 다양한 실내 POI 정보를 통해 상가와 출구, 시설물 등을 손쉽게 찾아갈 수 있도록 구현되어 있습니다.
국내 최고 난이도의 강남역 실증을 통해 네이버랩스는 다시 한 번 실제 일상 공간에서의 실내 VL/AR 기술을 검증할 수 있었습니다. 한층 더 단단해진 실내에서의 기술 검증에 이어 실외까지의 연결을 통해 계속해서 네이버랩스의 기술 공간을 확장해 나갈 예정입니다.
