|
▶︎ 이 글은 프랑스 그르노블에 위치한 네이버랩스 유럽에서 컴퓨터 비전을 연구하는 제롬 르보(Jérome Revaud)가 작성했습니다. 제롬 르보(Jérome Revaud)는 현재 Geometric Deep Learning 팀을 이끌며 방대한 이미지/비디오 데이터를 기반으로 AI가 세상을 더 잘 이해할 수 있도록 하는 연구를 지속하고 있습니다. ▶︎ Forward Thinking 시리즈의 일러스트를 기획하고 그린 윤형택 작가는 일러스트레이터이자 공간 스토리텔러입니다. 다양한 공간 프로젝트의 콘셉트와 일러스트레이션을 기획하였으며, 저서로는 '공간은 이야기로부터 시작한다'가 있습니다. |
과학 분야에선 예기치 못한 전환이 일어나곤 합니다. AI도 그렇네요. 저는 AI를 활용해 CCTV로 차량 속도를 측정하거나, 로봇의 동작을 카메라로 인식하는 알고리즘을 연구하고 있어요. 이 연구 주제는 서로 연결고리가 없어 보이지만, 딥 러닝의 빠른 발전 덕분에 일어난 일입니다. 예전에는 한 분야의 문제를 해결하기 위한 연구가 다른 분야로 확산되기까지 많은 시간이 걸렸겠지만, 요즘은 그렇지 않습니다. 지금의 AI 연구는 미처 발견하지 못한 수많은 돌파구들로 가득한 것 같습니다. 그리고 그 돌파구 중 하나는 바로 '번역'입니다. 우리에게 익숙한 언어 번역 말고요. 말하자면 '세상을 번역한다'라는 놀라운 발상의 전환이 일어나고 있습니다. 그 이야기를 하려고 합니다.
생물을 닮아가는 기계번역
먼저 기계번역의 역사를 거슬러 올라가 보죠. 기계번역은 AI 연구자들의 유구한 과제 중 하나입니다. 그 뿌리는 70여 년 전으로 거슬러 올라갑니다. 첫 세대의 컴퓨터가 등장했을 무렵이죠. 당시 연구자들은 자신감이 넘쳤어요. 금방 문제를 해결할 거라 생각했죠. 하지만 그들을 기다린 건 그다지 유쾌한 결말이 아니었습니다. 시간이 지날수록 명확해지는 건, 그들의 연구가 결실을 맺지 못할 것이란 시그널뿐이었죠.
지금 돌이켜보면 이유는 간단합니다. 사람에게 쉬운 게 컴퓨터에겐 어렵다는 거죠. 번역에서 화자의 의도가 중요한데, 이걸 AI가 이해하도록 하는 게 당시엔 어려웠어요. 게다가 의외의 문제도 있었는데, ‘문장의 길이’였습니다. 이게 왜 문제일까요? 번역 전후의 문장 길이가 달라지는 게 사람에겐 그다지 이상하지 않습니다. 각 언어별 특징이 있기 때문이죠. 하지만 AI 입장에선 당연한 게 아닙니다. 인풋과 아웃풋의 길이가 크게 달라지는 것을 AI가 자연스럽게 받아들이는 것조차 오랜 시간 해결되지 않았습니다. AI 연구의 슈퍼스타인 딥 러닝이 등장하기 전까지는.
네. 딥 러닝이 모든 걸 바꾸었죠. CPU 대비 어마어마하게 큰 컴퓨팅 파워를 제공하는 GPU의 사용이나, 새로운 신경망 기법의 등장은 지난 몇 년 동안 컴퓨터 리서치 분야에 어마어마한 혁신을 일구었습니다. 기계번역 분야도 마찬가지였죠. 그중에서도 최근에 소개된 "트랜스포머" 아키텍처는 그야말로 압도적인 성과를 냈습니다. 오늘 제가 주로 설명하려고 하는 것도 바로 이 모델에 대한 것입니다. 트랜스포머 모델의 가장 큰 특징을 한 단어로 표현한다면, 바로 주의(attention)입니다. 여러 정보들 사이에서 어떤 특정 정보 간의 관계를 파악해서, 좀 더 주의를 기울이는 것입니다.
이런 식으로 주의를 기울인다는 행위가 생물에게는 아주 자연스러운 일이죠. 우리는 세상을 일관되게 관찰하고 받아들이고 있는 것 같지만, 실제로는 몇 가지 정보에 더 많은 주의를 기울여서 중요한 맥락을 빠르게 파악합니다. 누군가의 이야기를 들을 때에도 마찬가지입니다. 단어 각각의 의미를 따로 해석해 받아들이는 게 아니죠. 어쩌면 우리는 더 중요한 것에 집중하기 위해 그렇지 않은 것을 일부러 의식하지 않는 것일 수도 있습니다. 이를 AI가 할 수 있도록 한 것이 바로 트랜스포머 모델입니다.
그 결과는 정말 대단했어요. 특정 정보에 좀 더 주의를 기울이는 방식은 컴퓨터 언어학의 새로운 패러다임이 되었어요. 예를 들어 "The little girl always carries her doll with her"라는 문장에서 트랜스포머는 "girl"과 "her"라는 단어가 문장 내에서 서로 떨어져 있어도 동일한 개념을 나타낸다는 것을 파악할 수 있습니다. 이것을 할 수 있느냐 없느냐는 작은 문제인 것 같지만, 학습할 데이터의 크기가 방대할수록 엄청난 퍼포먼스의 차이로 벌어집니다. 그리고 현재는 인간의 번역과 크게 다르지 않은 수준까지 이르렀습니다.
번역의 대상, 세상으로 넓히다
트랜스포머의 놀라운 성과를 보며, 몇몇 연구자들은 이런 생각을 떠올렸어요. 만약 트랜스포머가 기계번역처럼 어려운 과제를 해결할 수 있다면, 다른 과제도 해결할 수 있지 않을까? 이것은 AI의 작동 방식을 근본적으로 돌아보는 질문이었습니다. 연구자들은 주의를 기울이는 방식(attention mechanism)을 기존 방식에 적용하기 시작했습니다. 이에 영감을 받은 논문도 자연어 처리 학계를 넘어 컴퓨터 비전 등 다른 분야로 기하급수적으로 증가하게 되었죠.
이러한 경향은 트랜스포머가 이전의 아키텍처들보다 일반화에 강점이 있다는 것을 확인시켜 주었습니다. 일반화를 위한 핵심 아이디어는 다음과 같아요. 트랜스포머는 번역을 위해 만들어진 것이니까, 그렇다면 AI로 풀고 싶은 과제를 일반적인 번역(generalized translation)의 문제로 표현해 보면 어떨까?
컴퓨터 알고리즘이 언어를 이해하려면 전처리 과정이 반드시 필요한데, 입력 텍스트를 잘게 나누는 것을 토큰화(tokenization)입니다. 단어나 형태소 등으로 나누어진 하나의 단위가 토큰이고요. 이 과정이 없으면 딥 러닝에서 인식이 안됩니다. 이 토큰으로 의미론적 개념이나 수학적인 수량을 표현할 수 있습니다. 그리고 우리는 새로운 것을 알게 되었습니다. 언어만이 아니라 모든 태스크를, 토큰을 통한 번역 문제로 치환하여 트랜스포머 모델로 해결할 수 있다는 것을.
예를 들어, 이미지에서 특정 객체를 감지하는 것을 번역 작업으로 해결할 수 있습니다. 그리고 이미지를 설명하는 문장을 활용해 실제의 이미지를 생성하는 것도 성공했습니다. 심지어 지금 제가 있는 네이버랩스 유럽(NAVER LABS Europe)에서는 센서 데이터로 로봇이 비디오 게임을 할 수 있도록 해주는 알고리즘을 트랜스포머 모델로 연구하고 있고요. 이 연구 역시 시각화 정보를 문장으로 치환하고, 결과값 역시 동작을 설명하는 문장으로 도출하는 번역의 방식으로 이루어집니다. 이 프로세스가 무수히 반복되면 로봇이 비디오 게임을 훌륭히 수행할 수 있게 됩니다.
근래 제가 연구했던 사례도 소개 드리고 싶어요. 저는 얼마 전 트랜스포머를 활용해서 시각 레이더(visual radar) 역할을 하는 알고리즘을 개발했습니다. 이 AI 레이더는 CCTV 카메라로 차량들의 속도를 측정할 수 있습니다. 그간에 속도 탐지 레이더나 유도 루프 탐지기 등으로 측정되어 왔던 건데, 이것들은 아직 좀 비싼 편이죠. 그래서 저는 추가 비용 없이 CCTV를 차량 속도 측정기로 바꿀 수 있을지를 고민해 봤어요. 어쩌면 사고 탐지를 하거나 스마트 교통 시스템 개선도 가능할지도? 네, 가능했습니다.
좀 더 설명을 이어가 보겠습니다. (그런데 지금부터는 내용이 조금 어려울 수 있어요. 그래도 최대한 쉽게 설명해 보겠습니다.) 차량 속도 측정을 위해 필요한 입력과 출력을 문장으로 구성하는 번역이 중요한데, 저는 입력 문장을 ‘차 모양’의 토큰들로, 출력 문장은 길이를 재는 ‘척도’의 토큰들로 구성했습니다. CCTV 카메라에 잡힌 각각의 차가 트랜스포머를 통해 차가 이동한 거리를 측정할 수 있는 척도로 번역되는 거죠. 그리고 화면의 스케일 정보만 알면, 중학교 때 배운 거리/시간 공식으로 속도를 구할 수 있습니다. 물론 이렇게 간단한 건 아닙니다. 실제로는 학습 과정이 제대로 진행되어야 합니다. 입력과 출력 문장의 짝을 잘 맞춰서 충분히 보여주어야 트랜스포머가 제대로 작동하기 시작합니다. 저는 가상의 도로 상황을 생성해 3D 시뮬레이션으로 학습을 시켰더니, 더 빠르고 정확한 번역에 할 수 있었습니다.
결과는 어땠을까요? 놀랍게도 제가 개발한 CCTV용 AI 레이더는 고성능 센서의 HQ 영상을 활용하는 것과 동일한 정확도로 속도를 측정하면서도, 오차의 중간값은 약 4배 낮고, 전체적으로 1000배 빠르게 처리할 수 있게 되었습니다. AI가 또 한 건 했네요.
AI가 세상을 이해하는 새로운 방식들
서두에서 말한 것처럼, 발전은 정말 예상치 못한 방향으로 진행되는 경우가 많습니다. 하나의 문제를 해결하는 방식이 수많은 과제들의 새로운 열쇠가 되는 것이죠. 트랜스포머의 핵심인 주의 메커니즘은 AI에게 추상화나 일반화와 같은 어려운 작업까지 가능하게 했습니다. 이건 마치 사람들이 세상의 수많은 문제를 언어의 영역을 끌어들인 후, 형이상학적으로 사고하며 해결해온 역사와 비슷하게 느껴집니다.
언어에서 언어로 대응하던 번역을, 세상의 모든 것에서 모든 것으로 확장한다는 아이디어는 아주 새롭고 그 이상으로 강력합니다. 이전에 해결할 수 없었던 문제들을 대상으로 하기 때문이죠. 우리가 보거나 만질 수 있는 것들을 다루는 컴퓨터 비전의 과제들, 들을 수 있는 것들을 다루는 음성 관련 태스크까지 무궁무진합니다.
번역의 본질은 이해할 수 있도록 의미를 전달하는 것입니다. 그렇다면 지금 동시대의 많은 연구자들은 AI가 세상을 이해할 수 있도록 다양한 방식의 번역을 시도하고 있습니다.
▶︎ Forward Thinking 시리즈는 AI, 로봇, 자율주행, 디지털 트윈 등 이 시대 주요 기술 트렌드를 중심으로 네이버랩스와 함께하는 뛰어난 연구자들의 지식과 화두를 담아 온라인에서 비정기 발행됩니다.