서울은 세계적인 메가시티입니다. 그 중에서도 강남지역은 가장 복잡하고 많은 차량이 밀집된 곳입니다. 이 지역의 HD맵을 구축하는 실증 사업을 서울시와 네이버랩스가 함께 했습니다.
그림 1. 서울시 강남지역 HD맵
HD맵은 자율주행차의 두뇌라고 부를 정도로 도심 자율주행 연구에 핵심적인 데이터입니다. 광범위한 지역에 대해 3차원의 정밀도 높은 데이터를 처리해야 하기 때문에 효율성과 정확도를 동시에 담보할 수 있는 기술이 필요합니다. 예를 들어 도시 단위의 디지털 트윈 데이터를 구축할 수 있는 ALIKE 솔루션이 그렇습니다. 우리는 이번에 이 솔루션을 활용해 강남지역 총 61km에 해당하는 HD매핑을 완료했습니다. 이에 대한 생생한 개발기입니다.
0. ALIKE 솔루션에 대한 간단한 소개
ALIKE 솔루션은 네이버랩스의 디지털 트윈 데이터 구축 기술들(예를 들어 CES2019에서 공개했던 하이브리드 HD매핑)을 모아서 통합한 것입니다. 산출물에 따라 ALIKE 3D (3D모델), ALIKE RD (로드레이아웃), ALIKE HD (HD맵)으로 구성되어 있습니다. 각 산출물을 따로 제작하는 것이 아니라, 하늘에서 도시 전체를 스캔하는 것을 시작으로 일련적으로 각 데이터를 제작하는 솔루션입니다.
그림 2. ALIKE 솔루션
우리는 앞서 ALIKE 3D/RD 솔루션으로 서울시 전역의 3D모델과 로드레이아웃을 제작한 바 있었고, 그 후속으로 올해는 가장 난이도가 높은 강남 지역을 선정해 ALIKE HD 솔루션으로 HD맵을 제작/실증하게 되었습니다. ALIKE HD는 일반적으로 사용되는 MMS (mobile mapping system) 중심의 HD매핑과 비교해 복잡하게 얽혀있는 도심 내 도로의 매핑에서 비용 효율성을 극대화할 수 있다는 장점이 있습니다.
1. 도시를 통째로 스캔하다
네이버랩스는 비행기로 도시를 스캔해 대단위 3D모델을 구축합니다. 이 도시 3D모델은 아주 높은 위치 정확도를 보장하기 때문에 로드레이아웃과 HD맵 제작까지 이어질 수 있는 기본 토대가 됩니다.
우리는 실제 측량한 기준점을 활용해 자세를 보정한 후, 다양한 모델을 생성합니다. 그리고 생성된 결과물의 위치와 국가기준점의 위치를 비교해 위치정확도를 검증합니다. 이번 실증에서도 한강 아래 동쪽 지역 전반에 걸친 21점의 국가기준점과 비교한 결과, 수평/수직의 오차 평균이 각각 2.5cm, 8.0cm였습니다.
그림 3. 서울시 강남지역 61km의 로드레이아웃
또한 네이버랩스는 도시 3D모델에서 정밀한 로드레이아웃을 추출할 수 있습니다. 딥 러닝과 컴퓨터 비전 등의 인공지능 기술을 활용하여 노면 기호나 차선 정보 추출 작업을 점차 자동화 하고있습니다. 완성된 로드레이아웃은 차선 단위의 길 안내가 가능할 정도로 정밀합니다.
2. MMS 데이터와의 융합
그림 4. 항공사진으로 도화하기 힘든 지하차도, 가로수, 차량에 가려진 노면기호 등
하지만 항공사진만을 활용하면 고가차도/터널 하단부의 노면, 가로수/차량 등에 가려진 차선/마커까지 추출하기는 어렵습니다. 게다가 최신성 업데이트 주기도 고려해야 합니다. 예를 들어 아래 그림 5는 강남 르네상스 호텔 인근 도로로, 항공 영상 촬영당시에는 공사 중이었다가 이후 호텔이 완공되어 횡단보도 및 마커의 위치가 이동되는 등 노면기호가 크게 변경된 도로 중 한 곳입니다. 왕복 6차선이었다가 7차선으로 확장이 된 모습도 확인할 수 있습니다.
그림 5. 항공사진과 최신 노면기호 도화 비교
네이버랩스에서는 R1이라는 자체 제작 MMS 차량을 활용하여 이러한 문제들을 해결합니다.
그림 6. 네이버랩스의 자체 MMS인 R1
다만 MMS만 사용할 경우 관성항법장치(INS)만으로 옳은 위치 정확도를 보장할 수 없다는 문제가 있기 때문에, ALIKE 솔루션에서는 여러 정보를 융합해 데이터 정확도를 유지하는 방법을 적용했습니다. 이는 아주 넓은 지역을 여러 날에 걸쳐 매핑할 때 데이터 경계 지역에서 발생할 수 있는 이격(boundary issue) 문제를 해소하는 데에도 도움이 됩니다.
3. 강남, 차와 빌딩 숲의 문제
앞서 말했듯, 강남 지역은 우리에게도 최강 난이도의 도전입니다. 일단 차량이 많습니다. 그래서 항공사진에서도 노면 기호가 많이 가려지고, MMS 로깅시에도 주변에 주행 중인 차량이 많아 정보를 얻기가 쉽지 않습니다. 주간에는 특히 좌회전 신호를 기다리는 차량이 대기중인 포켓차선의 노면 데이터를 취득하기가 가장 힘들었는데요. 동일한 지역에 대해 주야간 취득 라이다 점군의 차이를 비교해보면 아래 그림 7과 같습니다.
그림 7. 위 : 주간 로깅, 아래 : 야간 로깅
빌딩은 밀집도가 큰 영향을 줍니다. 예를 들어 그림 8과 같이 밀집도가 덜한 남부순환로 아래 지역은 GNSS 위성이 장시간 가려지는 구간이 없습니다. 따라서 INS 위치 기반의 자체 매핑 파이프라인으로 자동 생성한 주행 궤적만으로도 만족스러운 결과를 얻을 수 있었습니다.
그림 8. 남부순환로 아래 지역
반면 빌딩 밀집도가 높은 곳으로 MMS 차량이 진입하면 GNSS의 위치 정확도가 급격히 떨어집니다. 유리벽 건물 숲을 지날 때 취득된 GNSS 원시 데이터를 뿌려보면 그림 9의 상단 이미지와 같습니다. 어느 정도의 오차는 차량에 부착된 가속도계(accelerometer), 각속도계(gyroscope) 및 바퀴의 회전수를 측정하는 휠 인코더(wheel encoder) 값을 융합해 실제 MMS 차량의 정밀한 움직임을 보정해 줄 수 있겠지만, 그림 9의 상단 이미지와 같이 전역 위치의 기준이 되는 GNSS 위치가 장시간 큰 오차를 보이는 경우에는 보정이 불가능합니다. 고층 빌딩에 위성이 가려지고, 유리벽에 반사된 신호를 받기도 하고, 또는 가로수 잎에 부딪혀 산란된 신호를 받아 실제 위성과의 거리보다 먼 거리에 차량이 위치해 있다고 잘못 예측하면서 최종 위치 오차가 커지게 됩니다.
그림 9. 위 : 유리벽 건물 숲 주행, 아래 : 남부순환로 아래쪽 주행
우리는 빌딩 숲을 주행할 때 발생한 GNSS 오차를 ALIKE 솔루션 내에서 보정해 주는 툴(annotation tool)을 자체 개발해 해결하고 있습니다. 더불어 금번 실증을 토대로 GNSS 오차를 자동 탐지하는 기술 연구도 새롭게 시작되었습니다.
그림 10. 유리벽의 건물 숲 모습
4. 점군 데이터 처리와 수직 시설물
앞서 설명한 과정을 통해 MMS 차량이 획득한 고정밀 점군(point cloud) 데이터의 처리 준비가 완료되었습니다. 점군 데이터에는 차량이 주행하던 시점에 주변에 존재하던 모든 것의 스캔 정보가 포함되어 있습니다. 그 중에는 차량이나 보행자와 같은 동적 객체로부터 온 것들도 포함되어 있습니다. 이런 데이터는 지도에는 포함되지 않아야 하므로 삭제해 주는 과정이 필요합니다.
누가 삭제해야 할까요? 사람이 손으로 이러한 작업을 다 하기에는 3D 데이터를 다루는 UI 뿐 아니라 방대한 양도 큰 문제가 됩니다. 그래서 우리는 시멘틱 세그멘테이션 알고리즘을 이용해 모든 개별점에 대한 의미상의 분류를 합니다. 예를 들어, 이 점은 자동차에 의해 나타난 것, 저 점은 도로 면의 것 등으로요. 이런 알고리즘으로 동적 객체를 자동으로 분류해 삭제합니다.
그림 11. 시멘틱 세그멘테이션 알고리즘 이용한 동적 객체 판별 및 삭제
삭제해야 할 데이터 중 노이즈도 있습니다. 레이저의 반사를 측정하는 LiDAR 센서의 특성상 유리나 거울 반사에 의해 허상이 생기기도 합니다. 이러한 허상이 띄엄띄엄 공중에 나타나게 됩니다. 이 또한 노이즈 삭제 알고리즘을 이용해 처리하게 됩니다.
그런데, 이렇게 처리해야 할 대상이 엄청나게 넓습니다. 점군 데이터의 규모는 지도 제작의 넓이에 비례합니다. 따라서 대용량 데이터를 다루기 위해 코드들 역시 최적화가 필요합니다. 그렇지 않으면 데이터의 규모 차이에서 오는 다양한 문제가 발생합니다. 메모리를 덜 사용하고, 사용할 수 있는 연산 자원을 더 잘 이용할 수 있는 코드가 요구됩니다. 이에 대한 검증 역시 이번 실증 과제의 중요한 성과 중 하나입니다.
또한 수직 시설물(신호등, 교통표지판)들도 위치를 찾고 타입을 지정해줘야 하는데, 점군 데이터만으로는 수직 시설물을 찾는 게 쉽지 않아 영상에서 추출하는 작업을 병행합니다. 표지판 앞을 가로수 나뭇가지 등이 가리는 경우가 비일비재 하기 때문에 점군 데이터로부터 최종 사각 영역을 정제하게 됩니다.
5. 에필로그
지금까지 네이버랩스 ALIKE 솔루션을 통한 서울시 강남지역 HD매핑 과정에 대해 간단히 소개해 드렸습니다. 우리의 독창적 솔루션으로 매우 효율적이면서도 높은 정확도의 HD맵 제작을 완료했습니다. 그 결과물의 일부 모습을 아래 영상을 통해 확인할 수 있습니다.
비록 강남 지역 도로는 서울시 전역의 1/33이지만 가장 난이도 높은 환경이었기에 실제 작업 과정에서는 생생한 이슈들과 업데이트들이 가득했습니다. 장마와 같은 날씨 변수에 대한 고려, 이를 통한 R1 (MMS) 차량의 효율적인 주행 경로 계획, 센서 설계의 업그레이드 등의 세세한 이슈들은 실제 필드에서만 얻어질 수 있습니다.
지금 전세계 많은 도시와 국가에서 HD맵 등의 디지털 트윈 데이터 구축 사업을 계획하고 있습니다. 네이버랩스에서는 가장 독창적인 방식의 솔루션을 개발했고, 서울시 등과의 협력을 통해 가장 빠르게 고도화하고 있습니다. 이러한 기술적 우위를 계속 유지하기 위해 노력하겠습니다.