스테레오 비전 센서와 레이다 센서 융합을 이용한 표적 탐지

Ⅰ. 서 론

최근 ADAS를 위해 다양한 차량용 센서가 광범위하게 상용화되고 있다. 차량의 주행 상황 인식 센서로는 카메라, 레이다, 라이다, 초음파 센서 등이 있다. 그중 레이다는 날씨나 조도와 같은 외부환경 변화에 강하며, 종방향 거리 검출 정확도가 높다. 하지만 레이다 신호의 고스트등 복잡한 주행 환경에서 성능이 떨어지는 문제점을 갖고 있다. 반면 카메라의 경우, 차선, 교통표지판, 신호 등의 형상정보를 획득할 수 있어 복잡한 환경에서 유리하다. 하지만 정확한 거리정보 파악이 어려우며, 기상이나 조도 변화 등의 외부환경에 취약하다는 단점을 가지고 있다. 최근 들어 센서 간의 장단점을 서로 보완하는 주행 상황 인식 시스템 연구가 활발히 진행되고 있다^[1].

본 논문에서는 거리정보 정확도가 상대적으로 우월한 레이다를 이용하여 카메라로 검출된 표적들의 거리정보의 정확도를 높이는 방법을 제안한다. 도래 각 정보를 얻을 수 있고, 거리 정확도가 높은 다채널 레이다는 시스템이 복잡하고 비싼 단점이 있으므로 거리 정확도는 높은, 단, 각도 정보는 없는 저가의 단일채널 레이다로 카메라를 보완하는 방식이다. 77 GHz 단일채널 FMCW 레이다와 스테레오 비전 융합 센서를 제작하고, 레이다와 카메라로부터 탐지된 객체를 정합하는 알고리즘을 이용하여 정확도 높은 표적의 공간 정보 획득을 실험적으로 증명한다.

Ⅱ. 표적 매칭 알고리즘

스테레오 카메라로부터 얻은 거리정보는 카메라 해상도, 표적 거리에 따라 정확도가 변한다^[2]. 따라서, 비전으로 구한 거리는 근삿값이다. 또한, 단일채널 레이다는 각도 정보를 알 수 없다. 스테레오 비전과 레이다의 표적을 매칭하면, 비전 시스템은 거리 정확도와 속도 정보를 얻을 수 있고, 레이다 시스템은 각도 정보를 얻어 상보적으로 사용할 수 있다. 본 논문에서는 거리정보를 각 센서로부터 공통으로 추정할 수 있다는 것에 중점을 두어 매칭을 시도하였다.

카메라로부터 얻을 수 있는 표적의 정보는 이미지 평면에서 표적의 좌표, 크기, 그리고 근사 거리와 각도이다. 레이다로부터 얻을 수 있는 표적 정보는 거리와 속도이다. 이 정보들을 각각 행렬로 나타내고, 그중에서 거리정보가 포함된 열을 추출하여 검출된 표적에 번호를 매겨 거리순으로 나열하면 각각의 열벡터 v와 r을 얻을 수 있다. 카메라로부터 얻은 모든 표적(m개)과 레이다로 얻은 모든 표적(n개)의 상호 거리 오차를 계산하면 다음 식과 같이 v와 r 벡터 각 항의 차이를 나타내는 행렬 D를 얻을 수 있다.

식 (1)에서 (i, j)는 비전으로부터 얻은 i번 표적과 레이다로부터 얻은 j번 표적을 의미한다. 앞서 언급한 대로 식 (2)에서 m은 비전으로 검출된 표적의 개수, n은 레이다로부터 검출된 표적의 개수이다. 행렬 D에서 각 행의 최솟값을 갖는, 즉 두 센서의 거리정보의 에러가 최소가 되는 요소를 선정하여 m:n으로 배열하면 두 센서 정보의 에러가 가장 적은 순으로 매칭이 이루어진다. 본 연구는 비전의 거리정보를 보완하는 목적이므로 최대 m개의 매칭을 선택한 후, 비전으로부터 얻은 거리정보를 오차가 적은 레이다 거리정보로 대체함으로써 거리 정확도를 높이게 된다.

여기서 m과 n은 서로 다른 값일 수 있는데, 이는 비전의 분해능 문제(이 경우 m < n)로 야기될 수 있다. 본 논문에서 제시한 방법으로는 근본적으로 비전의 분해능을 향상할 수는 없으나, 예를 들어 비전으로 도출된 표적 정보 한 개와 레이다의 표적 정보 두 개와의 상호 에러를 추출하여 최솟값이 되는 객체를 선택하여 거리정보를 업데이트하면 최소 비전 표적 한 개에 대한 거리정보 정확도는 상승하게 된다. 역시 레이다에 고스트 표적 문제가 발생시 (m:n+1)의 매칭이 되나, 에러 임계치를 설정하여 임계치를 넘는 레이다 표적 정보는 폐기하는 방법으로 고스트 문제를 해결할 수 있을 것이다.

FOV 관련하는 레이다가 Field Of View(FOV)를 결정하게 되며, 카메라 표적 중 레이다 FOV 안에 들어오는 표적들을 매칭하게 된다.

Ⅲ. 시스템 구성 및 측정 결과

본 연구에 쓰인 레이다는 77 GHz 단일채널 FMCW 방식의 자체 제작한 시스템이다^[3]. 송수신 안테나는 130°의 방위각으로 좌우로 넓게 볼 수 있는 1×16 슬롯 어레이 안테나를 사용하였다^[4]. 송신부 칩은 온-칩 급전기를 내장하고 있고, 슬롯 도파관 안테나 후면의 개구부 면에 정렬시켜 슬롯 안테나로 신호를 방사하게 된다. 레이다와 안테나의 사양은 다음과 같다: Sweep 대역폭: 76.44～77 GHz(560 MHz), Sweep 시간: 2 msec, FOV: 6°(V)×130°(H), 안테나 이득: 17.1 dBi(측정값). 스테레오 카메라는 Withrobot의 oCamS-1CGN-U 모델을 사용하였고, FOV는 50°(V)×92.8°(H), resolution은 1,280×960이다.

스테레오 비전 센서를 이용하기 위해선 초점거리를 추정해야 한다. 이를 위해서는 크기와 거리정보를 알고 있는 물체의 이미지 평면상에서 픽셀 크기를 알아야 한다. 본 논문에서는 반지름 25 cm의 금속구를 90 cm부터 390 cm까지 30 cm 간격으로 측정하여 얻어진 초점거리의 평균값을 구하였다. 그리고 이미지 평면상에서의 금속구 크기를 얻기 위해 그림 1과 같이 Canny edge detector를 통해 edged 이미지를 얻고, Hough circle transform을 통해 최종적으로 원형 표적을 얻었다. 이를 위해 OpencCV의 cv2. HoughCircles() 함수를 이용하였고, 그림 1(c)는 이 함수를 통해 원형 표적의 중심과 반지름을 얻어 검출된 표적을 원형 이미지에 덧붙인 그림이다.

그림 1. | Fig. 1. 금속구 이미지 | Metal sphere image.

Download Original Figure

그림 2는 상기 레이다와 카메라를 융합한 시스템을 보여준다. 레이다와 카메라의 높이는 다르지만 바라보는 방향은 같도록 고정하였다. 그림 3은 각각 스테레오 카메라와 레이다를 이용하여 물체의 위치를 증가시키면 거리를 검출한 결과이다. 멀어질수록 카메라로 측정한 거리 오차가 점점 커지는 것을 볼 수 있다. 레이다로 측정한 결과, 데이터의 경우 실제 값보다 가깝게 측정되는데, 이는 물체를 반지름 25 cm 금속 구를 사용하여 생기는 offset 때문으로 추정된다.

그림 2. | Fig. 2. 레이다와 카메라의 융합 시스템 | Radar and camera fusion system.

Download Original Figure

그림 3. | Fig. 3. 표적의 위치와 카메라와 레이다로 측정한 거리 비교 | Comparison of measured distances of the radar and camera with the target position.

Download Original Figure

그림 4(a)는 실제 측정 환경을 보여준다. 반지름 25 cm의 같은 금속구 두 개를 표적으로 사용하였다. Object #1은 센서로부터 2.4 m 거리에, 센서의 시야 정중앙에 위치하도록 하였다. Object #2는 센서로부터 4.2 m 거리에, 카메라의 광축 기준 우측으로 20°에 위치하도록 하였다. 그림 4(b)는 (a)의 환경에서 Hough circle 변환을 통해 표적을 검출한 결과이다. 검출된 표적의 경계선은 초록색 실선으로, 중심은 빨간색 점으로 표기하도록 하였다.

그림 4. | Fig. 4. 측정 환경 | Measurement environment.

Download Original Figure

레이다 센서로 구한 스펙트럼으로부터 8.88 kHz, 15.6 kHz 그리고 41.9 kHz에서 총 3개의 표적이 검출되었다. 이를 거리를 환산하면 각각 2.35 m, 4.18 m, 그리고 11.2 m가 된다. 11.2 m의 표적은 실험 환경에서 센서 전방의 벽면으로 판단된다. 스테레오 비전으로 측정한 Object #2 거리는 3.48 m로 레이다가 종방향 거리 탐지에 우수함을 보였다.

그림 5는 비전과 레이다를 이용하여 얻은 표적 정보를 극좌표계를 통해 나타낸 것이다. 거리의 단위는 미터단위로 5 m까지 나타내었고, 사용한 레이다의 방위각에 맞추어 좌우 55°까지 전개하였다. 실제 표적의 위치는 빨간색 점으로, 비전만으로 얻은 표적의 위치 정보는 파란색 점으로, 그리고 비전과 레이다의 융합시스템으로 얻은 위치 정보는 초록색 점으로 나타내었다.

그림 5. | Fig. 5. 비전과 레이다 정보가 보완된 비전의 검출 표적 위치 | Target locations detected with vision only and vision data assisted by radar.

Download Original Figure

그림 5에서 가까운 Object #1의 경우, 비전만으로 얻은 결과와 융합시스템으로 얻은 결과 모두 실제 값과 거의 같게 나타났다. 반면, 원거리의 Object #2의 경우 비전과 융합시스템으로 얻은 거리 차이가 크며, 제안한 표적 매칭 알고리즘을 통해 보완한 결과가 실제값에 부합함을 알 수 있다.

Ⅳ. 결 론

본 논문에서는 스테레오 비전 시스템과 레이다 시스템의 표적을 매칭하여 표적의 거리를 보정하고, 단일채널 레이다로는 얻을 수 없는 표적의 각도 정보를 영상 데이터로부터 얻어 보완하는 방법을 제안하였다. 제안된 방법을 검증하기 위해 융합 센서 시스템으로 물체를 측정하여 실제 위치 정보와 유사한 결과를 도출하였다. 또한, 거리가 멀수록 비전의 낮은 해상도 보정 효과가 커짐을 보였다.