2

역동적으로 진화하는 자율주행 센서

Writer. 정구민(국민대학교 전자공학부 교수)

최근 아우디 A8이 라이다 센서를 적용하면서 라이다 센 서를 적용한 세계 최초의 양산 차량이라는 타이틀을 가져 갔다. 이를 신호탄으로 하여 양산차 업계에서 라이다 센 서가 적용되는 추세도 더욱 가속화될 것으로 예상되고 있 다. 현재 연구 개발용 자율주행 차량은 라이다(LiDAR), 레이더(Radar), 카메라 센서를 조합해서 사용하고 있으 며, 상용화된 차량은 대개 카메라와 레이더를 조합하여 사용하고 있다. 자율주행 센서의 현재와 진화 방향에 대 해서 정리해 본다.

3차원 공간을 빠르게 인식하는 사람의 눈

사람의 눈은 3차원 공간을 빠르게 인식한다. 두 눈에서 얻 어진 영상들을 빠르게 처리해서 앞 차와의 거리나 차선의 변화, 표지판 및 신호등을 빠르게 인지하고 3차원 공간으 로 재구성해 낸다. 운전자는 이러한 공간정보를 바탕으 로 차량의 가속과 제동, 조향을 조절하고 원하는 목적지 로 이동할 수 있다.

공간을 인지하라, 자율주행 센서

자율주행용 센서도 3차원 공간의 인지를 목적으로 한다. 카메라, 레이더, 라이다 센서는 주행 시에 공간을 인식하 기 위한 도구로 볼 수 있다. 각 센서들의 장단점이 명확하 기 때문에, 주요 연구 개발용 차량들은 이 센서들을 조합 하여 3차원 공간을 인식하고 있다. 라이다 센서와 카메 라 센서는 빛(라이다 센서는 레이저, 카메라 센서는 가 시광)을 이용하고, 레이더 센서는 전파를 이용하는 차이 가 있다.
카메라는 사람의 눈과 비슷하게 처리가 가능하기 때문 에, 현재 자동차에서 가장 일반적인 센서로 볼 수 있다. 카메라를 통해 차선과 차량, 신호등, 표지판 등 자율주행 에 필요한 기본적인 정보를 얻을 수 있다. 다만 안개나 폭 우 등 날씨 조건, 불순물이 묻었을 때 등의 경우에는 카메 라 인식률이 떨어지는 단점이 있다. 사람의 눈이 두 개의 카메라를 가졌다면, 대부분의 차량은 1개의 카메라로 처 리한다. 거리를 인식하려면 2개의 카메라 정보에서 얻어진 영상을 비교 처리해야 하는데, 이 경우 영상 처리에 시 간이 오래 걸린다는 단점이 있다. 이 때문에 앞 차와의 거 리 측정 등에는 레이다를 사용하게 된다. 현재 판매되는 대부분의 차량에는 카메라와 레이더 정보의 조합을 사 용하고 있다.
레이더 센서는 전파를 이용해서 거리를 측정하고, 물체를 인식할 수 있다. 전파를 이용하는 레이더는 날씨가 안 좋 을 때나, 불순물의 묻었을 때에도 비교적 정확한 인식이 가능하기 때문에 자율주행에 필수적으로 사용될 것으로 전망된다. 다만 현재 자동차에 적용되고 있는 레이더 센 서는 좁은 범위에서 물체의 유무 여부 정도의 인식이 가능 한 성능으로, 공간 인식에는 어려움이 있다. 현재 주요 자 율주행 차량에는 레이더 센서를 다수 사용하여 인식에 활 용하고 있다. 이 때문에 레이더로 3차원 공간을 인식하기 위한 센서들이 다양하게 연구되고 있는 중이다.

카메라, 라이다, 레이더
각 센서들은 주요 목적과 장단점이
뚜렷한 상황이며,
주요 회사들은 세 센서를 조합하여
자율주행차량을 설계하고 있다.

라이다 센서는 빛의 일종인 레이저를 이용한다. 동시에 여러 개의 레이저를 발사한 후에 돌아오는 시간을 측정해 서 3차원 공간을 인식하게 된다. 거리 측정이 어려운 카메 라나 좁은 범위에서 물체 유무를 판정하는 레이더에 비해 서 편리하게 3차원 공간 인식이 가능하기 때문에 자율주 행 차량에 많이 적용된다.
하지만 라이다 센서는 레이저의 반사에 영향을 받게 된 다. 카메라보다는 날씨 조건에 덜 영향을 받지만, 레이더에 비해서는 눈이나 비에 반사가 될 수 있어서 날씨 조건 에 취약한 단점이 있다. 또한 검은색 물체의 경우 레이저 를 일부 흡수하여 반사파가 적어지고 인식에 영향을 줄 수 도 있다. 고성능 라이다 센서는 아직 가격이 비싸기 때문 에 상용화를 위해서 가격을 낮추기 위한 다양한 노력이 계 속되고 있다.
미국 미시간대학교는 2017년 8월에 자율주행 센서에 관 한 백서를 발표한 바 있다. 이 백서에서는 <표 1>처럼 각 센서의 장단점을 비교하면서 센서 퓨전에 대한 중요성을 강조했다.
이처럼 각 센서들의 주요 목적과 장단점이 뚜렷한 상황이 며, 주요 회사들은 세 센서를 조합하여 자율주행 차량을 설계하고 있다. 대략 정리해 보면 카메라는 차선 인식, 물 체 인식, 보행자 인식, 차량 인식, 표지판 인식, 신호등 인 식 등에 주로 사용된다. 레이다는 주변 차량과의 거리 인 식에 주로 사용되고, 라이다 센서는 주변 차량의 주행 및 주변 환경 인식에 사용되고 있다.

자율주행 차량과 센서

현재 상용화된 부분자율주행 차량과 연구개발 중인 레벨 3, 4, 5 차량들은 센서 측면에서 큰 차이가 있다. 현재 양 산 중인 차량 중에서 라이다 센서가 적용된 차량은 아우디 A8이 유일하다. 반면, 연구개발 중인 대부분의 자율주행 차량들은 고급 라이다 센서들을 적용하고 있다. 아우디 A8과 앱티브의 자율주행 차량을 비교해 보자.
2017년 7월 발표된 아우디 A8 차량은 세계 최초로 라 이다 센서를 적용했다. 프랑스 부품회사 발레오에서 만든 이 라이다 센서는 수평 145°, 4채널을 인식할 수 있다. 초기의 구글 자율주행 차량에 쓰였던 360도 회전이 가 능한 벨로다인의 센서는 약 8만 달러 정도인 데 비해서 이 센서는 약 600달러 정도의 저가형 센서이다. 아우디 A8 차량에는 라이다 1개, 카메라 1개, 코너 레이더 4개, 장거 리 레이더 1개, 360도 어라운드뷰 카메라 4개와 적외선 센서 1개 등 다양한 센서가 탑재되어 있다.

더 정확하고 안전한 자율주행을
위해서 카메라, 레이더, 라이다
각 센서에도 많은 진화가 있을 것으로
예상된다.

CES 2018 당시 폭우 속에서 성공적으로 자율주행 시연 을 선보인 앱티브의 자율주행 차량에는 많은 센서들이 상 용화되어 있다. 앱티브 자율주행 차량은 단거리 인식을 위한 4개의 16채널 벨로다인 라이다 센서와 장거리 인 식을 위한 5개의 이베오 4채널 라이다 등 총 9개의 라이 다 센서를 사용한다. 또한 4개의 단거리 레이더와 6개의 스캐닝 레이더 등 총 10개의 레이더 센서를 사용하고 있다. 이외에도 2개의 카메라 센서, 2개의 정밀 GPS, 1개 의 DSRC(차량용 단거리 통신) 모듈 등이 적용되어 있다.

자율주행을 위한 다양한 센서의 진화

앞으로 더 정확하고 안전한 자율주행을 위해서 카메라, 레 이더, 라이다 각 센서에도 많은 진화가 있을 것으로 예상된 다. 현재 대표적으로 연구되고 있는 센서들은 대략 열화상 카메라 기술, 3D 레이더 기술, UWB 기반 기술 등이 있다.
이스라엘의 아다스카이는 2017년 프랑크푸르트 모터쇼 에서 열화상 카메라 센서인 바이퍼를 공개했다. 이 센서는 자동차, 사람, 동물 등이 방출하는 열을 인식하기 때문에, 야간 주행이나 어두운 상황에서 보행자 인식에 더 용이하 게 사용될 수 있다. 회사 측은 “라이다는 눈, 비 등 기상조건 에 취약하고, 레이더는 단순한 정보 제공만 가능하며, 카메 라는 태양광이나 야간 인식에 약할 수 있다”면서, 열화상 카 메라인 바이퍼가 이러한 단점을 보완해 줄 수 있을 것이라 고 밝혔다. 지난 5월 29일 블룸버그는 3월 우버 자율주행차 사고를 언급하면서 열화상 카메라나 야간 투시 카메라 등이 보행자 사고를 줄일 수 있을 것이라고 예상한 바 있다.
3D 레이더 기술도 다양하게 연구되고 있다. 빛을 사용하 는 카메라나 라이다에 비해서 환경 조건에 영향이 덜한 장 점이 있기 때문에, 3D 레이더 기술의 상용화도 큰 의미 를 갖게 될 것으로 보인다. 마그나나 아르브로보틱스는 지난 CES 2018에서 3D 레이더 기술을 선보였다. 아직 고급 3D 라이다 센서만큼의 정밀도는 아니지만, 레이더 로 공간을 인식할 수 있는 장점이 있다. 두 업체들은 앞으 로 1~2년 내에 상용화가 가능할 것이라고 밝힌 바 있다.
이스라엘 스타트업인 바야는 초광대역통신 기술인 UWB 에 기반한 거리 측정 기술을 선보였다. 소프트뱅크의 인공 지능 기술이 탑재된 바야의 3D 센서는 0~20GHz 주파수 대역에서 24개의 송수신기를 이용하며, 초당 15만 개의 POI(Point Of Interest) 인식이 가능하다고 한다. 통신 기반이기 때문에 날씨나 환경의 영향이 적은 장점이 있지 만, 전파 간섭이 있을 수 있는 단점도 있다.

그림1. 아우디 A8의 자율주행 센서

•마그나 3D 레이더 기술  •출처: 마그나

•Adasky 열화상 카메라  •출처: Adasky

그림2. 앱티브의 자율주행 센서

•ARBE robotics 3D 레이더 기술  •출처: ARBE robotics

•Vayaar의 UWB 기반 센서  •출처: Vayyar

공간 인지를 위한 자율주행 센서의 진화

효율적인 공간 인지를 위한 자율주행 센서의 진화는 계속 될 것으로 예상된다. 앞으로 자동차 중심의 자율주행 레 벨인 레벨 3, 4, 5 단계로 발전하게 되면, 자동차의 책임 이 커지는 쪽으로 제도 개선이 이루어질 것으로 보인다. 이 때문에 많은 수의 자율주행 센서가 탑재되고 인식 소프 트웨어의 개선도 이루어질 것으로 예상된다.
지난 8월 미국자동차공학회(SAE)는 자율주행 테스트 표준화를 발표한 바 있다. 발생 확률이 낮지만 매우 중 요한 경우들을 테스트에 포함시킴으로써 자율주행차량 의 안전성을 높일 수 있을 것으로 보인다. 이러한 테스트 케이스들을 만족시키기 위해서 자율주행 센서도 더욱 진 화될 것으로 예상된다. 앞으로 완전자율주행을 위해 센 서 기술과 인식 소프트웨어의 중요성은 더욱 높아질 것 으로 예상된다.

–
참고문헌
1. 정구민, “[CES 2018] 앱티브-리프트 자율주행차 시승행사와 시사 점”, 아이뉴스24, 2018. 1.
2. 정구민, “자율주행을 위한 새로운 센서들의 등장”, 《KISA report》, 한국인터넷 진흥원, 2018. 3.
3. Brandon Schoettle, “SENSOR FUSION: A COMPARISON OF SENSING CAPABILITIES OF HUMAN DRIVERS AND HIGHLY AUTOMATED VEHICLES”, Michigan University, August 2017.

최근 아우디 A8이 라이다 센서를 적용하면서 라이다 센 서를 적용한 세계 최초의 양산 차량이라는 타이틀을 가져 갔다. 이를 신호탄으로 하여 양산차 업계에서 라이다 센 서가 적용되는 추세도 더욱 가속화될 것으로 예상되고 있 다. 현재 연구 개발용 자율주행 차량은 라이다(LiDAR), 레이더(Radar), 카메라 센서를 조합해서 사용하고 있으 며, 상용화된 차량은 대개 카메라와 레이더를 조합하여 사용하고 있다. 자율주행 센서의 현재와 진화 방향에 대 해서 정리해 본다.

3차원 공간을 빠르게 인식하는 사람의 눈

사람의 눈은 3차원 공간을 빠르게 인식한다. 두 눈에서 얻 어진 영상들을 빠르게 처리해서 앞 차와의 거리나 차선의 변화, 표지판 및 신호등을 빠르게 인지하고 3차원 공간으 로 재구성해 낸다. 운전자는 이러한 공간정보를 바탕으 로 차량의 가속과 제동, 조향을 조절하고 원하는 목적지 로 이동할 수 있다.

공간을 인지하라, 자율주행 센서

자율주행용 센서도 3차원 공간의 인지를 목적으로 한다. 카메라, 레이더, 라이다 센서는 주행 시에 공간을 인식하 기 위한 도구로 볼 수 있다. 각 센서들의 장단점이 명확하 기 때문에, 주요 연구 개발용 차량들은 이 센서들을 조합 하여 3차원 공간을 인식하고 있다. 라이다 센서와 카메 라 센서는 빛(라이다 센서는 레이저, 카메라 센서는 가 시광)을 이용하고, 레이더 센서는 전파를 이용하는 차이 가 있다.
카메라는 사람의 눈과 비슷하게 처리가 가능하기 때문 에, 현재 자동차에서 가장 일반적인 센서로 볼 수 있다. 카메라를 통해 차선과 차량, 신호등, 표지판 등 자율주행 에 필요한 기본적인 정보를 얻을 수 있다. 다만 안개나 폭 우 등 날씨 조건, 불순물이 묻었을 때 등의 경우에는 카메 라 인식률이 떨어지는 단점이 있다. 사람의 눈이 두 개의 카메라를 가졌다면, 대부분의 차량은 1개의 카메라로 처 리한다. 거리를 인식하려면 2개의 카메라 정보에서 얻어진 영상을 비교 처리해야 하는데, 이 경우 영상 처리에 시 간이 오래 걸린다는 단점이 있다. 이 때문에 앞 차와의 거 리 측정 등에는 레이다를 사용하게 된다. 현재 판매되는 대부분의 차량에는 카메라와 레이더 정보의 조합을 사 용하고 있다.
레이더 센서는 전파를 이용해서 거리를 측정하고, 물체를 인식할 수 있다. 전파를 이용하는 레이더는 날씨가 안 좋 을 때나, 불순물의 묻었을 때에도 비교적 정확한 인식이 가능하기 때문에 자율주행에 필수적으로 사용될 것으로 전망된다. 다만 현재 자동차에 적용되고 있는 레이더 센 서는 좁은 범위에서 물체의 유무 여부 정도의 인식이 가능 한 성능으로, 공간 인식에는 어려움이 있다. 현재 주요 자 율주행 차량에는 레이더 센서를 다수 사용하여 인식에 활 용하고 있다. 이 때문에 레이더로 3차원 공간을 인식하기 위한 센서들이 다양하게 연구되고 있는 중이다.

카메라, 라이다, 레이더
각 센서들은 주요 목적과 장단점이
뚜렷한 상황이며,
주요 회사들은 세 센서를 조합하여
자율주행차량을 설계하고 있다.

라이다 센서는 빛의 일종인 레이저를 이용한다. 동시에 여러 개의 레이저를 발사한 후에 돌아오는 시간을 측정해 서 3차원 공간을 인식하게 된다. 거리 측정이 어려운 카메 라나 좁은 범위에서 물체 유무를 판정하는 레이더에 비해 서 편리하게 3차원 공간 인식이 가능하기 때문에 자율주 행 차량에 많이 적용된다.
하지만 라이다 센서는 레이저의 반사에 영향을 받게 된 다. 카메라보다는 날씨 조건에 덜 영향을 받지만, 레이더에 비해서는 눈이나 비에 반사가 될 수 있어서 날씨 조건 에 취약한 단점이 있다. 또한 검은색 물체의 경우 레이저 를 일부 흡수하여 반사파가 적어지고 인식에 영향을 줄 수 도 있다. 고성능 라이다 센서는 아직 가격이 비싸기 때문 에 상용화를 위해서 가격을 낮추기 위한 다양한 노력이 계 속되고 있다.
미국 미시간대학교는 2017년 8월에 자율주행 센서에 관 한 백서를 발표한 바 있다. 이 백서에서는 <표 1>처럼 각 센서의 장단점을 비교하면서 센서 퓨전에 대한 중요성을 강조했다.
이처럼 각 센서들의 주요 목적과 장단점이 뚜렷한 상황이 며, 주요 회사들은 세 센서를 조합하여 자율주행 차량을 설계하고 있다. 대략 정리해 보면 카메라는 차선 인식, 물 체 인식, 보행자 인식, 차량 인식, 표지판 인식, 신호등 인 식 등에 주로 사용된다. 레이다는 주변 차량과의 거리 인 식에 주로 사용되고, 라이다 센서는 주변 차량의 주행 및 주변 환경 인식에 사용되고 있다.

자율주행 차량과 센서

현재 상용화된 부분자율주행 차량과 연구개발 중인 레벨 3, 4, 5 차량들은 센서 측면에서 큰 차이가 있다. 현재 양 산 중인 차량 중에서 라이다 센서가 적용된 차량은 아우디 A8이 유일하다. 반면, 연구개발 중인 대부분의 자율주행 차량들은 고급 라이다 센서들을 적용하고 있다. 아우디 A8과 앱티브의 자율주행 차량을 비교해 보자.
2017년 7월 발표된 아우디 A8 차량은 세계 최초로 라 이다 센서를 적용했다. 프랑스 부품회사 발레오에서 만든 이 라이다 센서는 수평 145°, 4채널을 인식할 수 있다. 초기의 구글 자율주행 차량에 쓰였던 360도 회전이 가 능한 벨로다인의 센서는 약 8만 달러 정도인 데 비해서 이 센서는 약 600달러 정도의 저가형 센서이다. 아우디 A8 차량에는 라이다 1개, 카메라 1개, 코너 레이더 4개, 장거 리 레이더 1개, 360도 어라운드뷰 카메라 4개와 적외선 센서 1개 등 다양한 센서가 탑재되어 있다.

더 정확하고 안전한 자율주행을
위해서 카메라, 레이더, 라이다
각 센서에도 많은 진화가 있을 것으로
예상된다.

CES 2018 당시 폭우 속에서 성공적으로 자율주행 시연 을 선보인 앱티브의 자율주행 차량에는 많은 센서들이 상 용화되어 있다. 앱티브 자율주행 차량은 단거리 인식을 위한 4개의 16채널 벨로다인 라이다 센서와 장거리 인 식을 위한 5개의 이베오 4채널 라이다 등 총 9개의 라이 다 센서를 사용한다. 또한 4개의 단거리 레이더와 6개의 스캐닝 레이더 등 총 10개의 레이더 센서를 사용하고 있다. 이외에도 2개의 카메라 센서, 2개의 정밀 GPS, 1개 의 DSRC(차량용 단거리 통신) 모듈 등이 적용되어 있다.

자율주행을 위한 다양한 센서의 진화

앞으로 더 정확하고 안전한 자율주행을 위해서 카메라, 레 이더, 라이다 각 센서에도 많은 진화가 있을 것으로 예상된 다. 현재 대표적으로 연구되고 있는 센서들은 대략 열화상 카메라 기술, 3D 레이더 기술, UWB 기반 기술 등이 있다.
이스라엘의 아다스카이는 2017년 프랑크푸르트 모터쇼 에서 열화상 카메라 센서인 바이퍼를 공개했다. 이 센서는 자동차, 사람, 동물 등이 방출하는 열을 인식하기 때문에, 야간 주행이나 어두운 상황에서 보행자 인식에 더 용이하 게 사용될 수 있다. 회사 측은 “라이다는 눈, 비 등 기상조건 에 취약하고, 레이더는 단순한 정보 제공만 가능하며, 카메 라는 태양광이나 야간 인식에 약할 수 있다”면서, 열화상 카 메라인 바이퍼가 이러한 단점을 보완해 줄 수 있을 것이라 고 밝혔다. 지난 5월 29일 블룸버그는 3월 우버 자율주행차 사고를 언급하면서 열화상 카메라나 야간 투시 카메라 등이 보행자 사고를 줄일 수 있을 것이라고 예상한 바 있다.
3D 레이더 기술도 다양하게 연구되고 있다. 빛을 사용하 는 카메라나 라이다에 비해서 환경 조건에 영향이 덜한 장 점이 있기 때문에, 3D 레이더 기술의 상용화도 큰 의미 를 갖게 될 것으로 보인다. 마그나나 아르브로보틱스는 지난 CES 2018에서 3D 레이더 기술을 선보였다. 아직 고급 3D 라이다 센서만큼의 정밀도는 아니지만, 레이더 로 공간을 인식할 수 있는 장점이 있다. 두 업체들은 앞으 로 1~2년 내에 상용화가 가능할 것이라고 밝힌 바 있다.
이스라엘 스타트업인 바야는 초광대역통신 기술인 UWB 에 기반한 거리 측정 기술을 선보였다. 소프트뱅크의 인공 지능 기술이 탑재된 바야의 3D 센서는 0~20GHz 주파수 대역에서 24개의 송수신기를 이용하며, 초당 15만 개의 POI(Point Of Interest) 인식이 가능하다고 한다. 통신 기반이기 때문에 날씨나 환경의 영향이 적은 장점이 있지 만, 전파 간섭이 있을 수 있는 단점도 있다.

그림1. 아우디 A8의 자율주행 센서

•마그나 3D 레이더 기술  •출처: 마그나

•Adasky 열화상 카메라  •출처: Adasky

그림2. 앱티브의 자율주행 센서

•ARBE robotics 3D 레이더 기술  •출처: ARBE robotics

•Vayaar의 UWB 기반 센서  •출처: Vayyar

공간 인지를 위한 자율주행 센서의 진화

효율적인 공간 인지를 위한 자율주행 센서의 진화는 계속 될 것으로 예상된다. 앞으로 자동차 중심의 자율주행 레 벨인 레벨 3, 4, 5 단계로 발전하게 되면, 자동차의 책임 이 커지는 쪽으로 제도 개선이 이루어질 것으로 보인다. 이 때문에 많은 수의 자율주행 센서가 탑재되고 인식 소프 트웨어의 개선도 이루어질 것으로 예상된다.
지난 8월 미국자동차공학회(SAE)는 자율주행 테스트 표준화를 발표한 바 있다. 발생 확률이 낮지만 매우 중 요한 경우들을 테스트에 포함시킴으로써 자율주행차량 의 안전성을 높일 수 있을 것으로 보인다. 이러한 테스트 케이스들을 만족시키기 위해서 자율주행 센서도 더욱 진 화될 것으로 예상된다. 앞으로 완전자율주행을 위해 센 서 기술과 인식 소프트웨어의 중요성은 더욱 높아질 것 으로 예상된다.

–
참고문헌
1. 정구민, “[CES 2018] 앱티브-리프트 자율주행차 시승행사와 시사 점”, 아이뉴스24, 2018. 1.
2. 정구민, “자율주행을 위한 새로운 센서들의 등장”, 《KISA report》, 한국인터넷 진흥원, 2018. 3.
3. Brandon Schoettle, “SENSOR FUSION: A COMPARISON OF SENSING CAPABILITIES OF HUMAN DRIVERS AND HIGHLY AUTOMATED VEHICLES”, Michigan University, August 2017.