차량용 레이다 시스템에서의 LSTM 회귀 모델을 이용한 보행자 경로 예측

I. 서 론

최근 자동차 산업의 변화 속에서 자율 주행 차량의 급속한 발전과 함께 보행자와 운전자의 안전은 점점 더 중요해지고 있다^[1]. 도로 환경에서 운전자는 안전 운전에 최선을 다해야 하지만, 부주의, 판단 오류, 운전자 시야 사각지대로 인한 사고 위험은 여전히 존재한다. 특히 차량의 구조 및 인간의 시야각 한계로 인해 운전자가 육안으로 확인하기 어려운 사각지대에서 불가피한 사고가 다수 발생한다. 복잡한 도로 상황에서는 사이드미러와 백미러만으로는 미연의 사고를 방지할 수 없으므로 안전한 운행을 위하여 사각지대 표적 탐지에 대한 문제점 해소는 필수적으로 해결해야 하는 중대한 과제이다.

이러한 자율 주행 차량의 안정성을 높이기 위해 다양한 표적 탐지 기술이 활용되고 있다. 이 기술들은 차량이 주변 환경을 인식하고, 운전자에게 조기에 경고를 제공함으로써 충돌 위험을 줄이는 데 중추적인 역할을 한다^[2]. 최근에는 미국, 유럽, 일본 등에서 자동 긴급 제동 시스템이 의무화되고 있으며^[3], 이러한 능동 안전 시스템과 인지 센서는 자동차 기술의 핵심 요소로 자리 잡고 있다. 특히 카메라나 라이다 센서와 달리, 레이다 시스템은 전파를 이용하여 표적의 거리, 속도, 각도 등을 추정하고, 악천후 속에서도 안정적인 성능을 유지하여 세간의 주목을 받고 있다^[4],[5].

하지만 차량 뒤에서 갑자기 나타나는 보행자는 차량에 비해 레이다 반사 면적이 작아, 보행자로부터 반사되는 레이다 신호가 약하게 감지되는 문제가 발생한다. 또한 보행자의 이동 경로는 개별 속성, 환경과의 상호 작용 등 다양한 요인에 의하여 좌우되기 때문에 예측하기 어려우며, 결과적으로 레이다 시스템이 운전자에게 적시에 경고를 제공하지 못할 가능성이 높다. 기존에는 보행자의 이동 경로 예측을 위해 속도 정보와 추적 필터에 의존해 왔지만, 최근 딥러닝 기술의 발전으로 예측 성능이 개선되고 있다는 연구 결과가 발표되었다^[6]. 한 연구에서는 원-핫 인코딩 방법을 통한 분류 작업으로 미래 속도를 예측하였으며, 또 다른 연구에서는 목적지에 대한 혼합 밀도 함수를 추론하고, 이 결과를 보행자의 공통 행동 방식에 기반하여 움직임 및 경로를 예측하였다^[7],[8]. 하지만 분류 방법은 일반적으로 양자화 오류로 인해 회귀 모델보다 저조한 결과를 얻으며, 추적 알고리즘을 사용하면 차량 뒤에 가려진 보행자에 대해 원활한 경로 추적이 어렵다. 따라서 우리는 차량 뒤에서 이동하는 보행자의 경로를 보간하고, 그들의 미래 경로를 예측하고자 할 때 풍부한 과거 데이터를 이용하여 시간에 따른 보행자의 이동 경로를 추정할 수 있는 LSTM(long short-term memory) 회귀 모델을 사용한다.

본 연구에서 제안하는 방법은 다음과 같다. 먼저, 보행자와 차량에 대한 레이다 신호에 푸리에 변환을 적용해 거리-속도 맵을 생성한다. 이어서 CA-CFAR(cell-averaging constant false alarm rate) 알고리즘을 이용하여 잡음 환경에서 표적에 대한 신호 성분을 효과적으로 검출했다. 이후, MUSIC(multiple signal classification) 알고리즘을 활용하여 높은 해상도로 보행자의 각도를 추정하고, 정적 클러터를 제거하여 속도를 가진 보행자의 신호만 남도록 한다. 이후 제안된 LSTM 회귀 모델을 통해 앞서 추정된 보행자의 거리, 속도, 각도 정보를 이용하여 취득한 직교 좌표계 상의 점 데이터를 활용하여 차량 뒤에서 이동하는 보행자의 이동 경로를 예측한다. 최종적으로 보행자가 차량 뒤에서 나타난 시점부터 이후의 방향을 추정하고, 이동 경로를 예측한다.

본 논문은 다음과 같이 구성된다. Ⅱ장에서는 FMCW (frequency-modulated continuous wave) 레이다의 신호 처리 과정, 표적 신호 검출 및 각도 추정 방법을 소개한다. Ⅲ장에서는 경로 예측에 사용된 LSTM 모델 설계 과정 및 시뮬레이션 결과를 기술한다. Ⅳ장에서는 실제 실험을 통해 취득한 데이터를 사용하여 예측한 결과를 분석하고, Ⅴ장에서 결론을 맺는다.

Ⅱ. FMCW 레이다 시스템에서의 표적 탐지

2-1 FMCW 레이다 시스템을 통한 거리 및 속도 추정

본 논문에서는 다중 입출력 FMCW 레이다 시스템을 이용하여 보행자의 신호를 검출한다. FMCW 레이다 시스템의 구조는 그림 1에 나타나 있다. 우리는 이러한 레이다 시스템의 송수신 신호 사이의 비트 주파수를 계산하여 레이다로부터 보행자의 거리 및 속도 정보를 결정한다. 시간 t에 대해 A_t, f_c, T_c, B 를 각각 송신 신호의 세기, 중심 주파수, 처프 주기, 대역폭이라고 가정할 때, 송신 신호는

$$s_t\left(t\right)=A_t\exp \left[j2\pi \left\{f_{c}t+\frac{B}{2T_c}{t}^2\right\}\right]\left(0\le t\le T_c\right)$$

(1)

그림 1. | Fig. 1. FMCW 레이다 시스템의 구조 | Structure of the FMCW radar system.

Download Original Figure

와 같이 나타난다. 이러한 송신 신호가 표적에 반사되어 레이다의 각 안테나로 되돌아오는데, 이때 표적이 움직이는 데에 대한 도플러 주파수 f_d와 송신 신호가 표적으로부터 반사되어 들어올 때까지의 지연된 시간 t₀의 요소를 포함하여 수신된다. 따라서 수신 신호는

$$s_t\left(t\right)=A_r\exp \left[j2\pi \left(\left(f_c+f_d\right)\left(t-t_0\right)+\frac{B}{2T_c}{\left(t-t_0\right)}^2\right)\right]\left(t_0\le t\le t_0+T_c\right)$$

(2)

와 같이 나타난다. 이때 A_r은 수신 신호의 세기를 의미한다. 빛의 속도를 c, 레이다로부터 표적까지의 거리를 R, 표적의 속도를 v라고 할 때, f_d와 t₀는 각각 $\frac{2f_{c}v}{c}$와 $\frac{2R}{c}$로 표현된다. 이후 주파수 혼합기에서 송수신 신호를 곱한 다음에 저역 통과 필터를 통해 고주파 성분을 제거하면 시간 축에서의 복조 신호는

$$s_m\left(t\right)=A_m\exp \left[j2\pi \left\{\left(\frac{2BR}{c{T}_c}+\frac{2f_{c}v}{c}\right)t+\frac{2f_{c}R}{c}\right\}\right]$$

(3)

와 같이 나타난다. 이때 A_m은 복조된 신호의 세기를 의미한다. 복조 신호 s_m은 ADC(analog-to-digital converter)를 거쳐 최종적으로 이산 신호로 변환된다. n을 ADC 샘플 인덱스, p를 처프 인덱스라고 할 때, 최종 이산 신호는

$$s_m\left(n,p\right)\approx A_m\exp \left[j2\pi \left\{\frac{2BR}{c{T}_c}\frac{n}{f_s}+\frac{2f_{c}v}{c}p{T}_c+\frac{2f_{c}R}{c}\right\}\right]\left(0\le n\le N-1,0\le p\le P-1\right)$$

(4)

와 같이 나타난다^[9]. 이때 f_s, N, P는 각각 샘플링 주파수, ADC 샘플 수, 처프 수를 의미한다. 식 (4)와 같이 획득한 이산 신호에 n을 기준으로 1차원 푸리에 변환을 진행하면 레이다로부터 표적까지의 거리 정보를 얻을 수 있다. 또한 p를 기준으로 1차원 푸리에 변환을 진행하면 표적에 대한 속도를 추정할 수 있다. 이로써 표적에 대한 거리-속도 맵을 생성한다.

2-2 CA-CFAR 알고리즘 기반 표적 검출

잡음 환경에서 표적의 신호를 효과적으로 식별하기 위하여 적절한 탐지 임곗값을 설정하는 것이 중요하다. 표적에 대한 신호를 검출하기 위하여 일정한 표적 탐지 임곗값을 사용한다면 종종 잡음의 세기가 임곗값을 초과할 때마다 잘못된 경보가 발생할 확률이 높다. 실제 환경에서 잡음의 세기는 시간에 따라 변동하므로 본 논문에서는 차량용 레이다 시스템에서 일반적으로 사용되는 방법 중 하나인 CA-CFAR 알고리즘을 활용한다. CA-CFAR 알고리즘은 배경 잡음의 통계적 추정치를 계산하고, 이 계산을 기반으로 표적 탐지 임곗값을 유동적으로 조정한다^[10]. 그림 2는 CA-CFAR 알고리즘의 일반적인 구조를 보여준다. 따라서 푸리에 변환 결과에 CA-CFAR 알고리즘을 적용하여 표적에 대한 신호를 검출한다.

그림 2. | Fig. 2. CA-CFAR의 블록도 | Block diagram of the CA-CFAR.

Download Original Figure

2-4 LSTM 신경망 모델링

순환 신경망의 특수한 형태인 LSTM 신경망은 과거 정보를 기억하는 데에 탁월하므로 표적 분류 및 추세 예측과 같은 응용 분야에 익히 사용된다. 이는 장기간에 걸쳐 정보를 효율적으로 관리함으로써 기존 순환 신경망의 한계인 장기 종속성 문제를 해결한다. LSTM 알고리즘의 구조 및 특징은 그림 3에 나타나 있으며, 삭제 게이트, 입력 게이트 및 출력 게이트의 세 가지 주요 구성 요소가 강조되어 있다. 삭제 게이트는 어떤 과거 데이터를 반영할지 결정하고, 입력 게이트는 새로운 데이터에 대한 저장 여부를 결정하며, 출력 게이트는 현재 상태와 입력을 기반으로 최종 출력값을 결정한다. 따라서 본 논문에서는 차량 뒤 보행자의 경로를 보간하고, 보행자의 출현 이후에 대한 미래 경로를 예측하기 위하여 다양한 딥러닝 알고리즘 중 보행자의 이전 위치를 기억하고, 다음 위치를 예측할 수 있는 LSTM 회귀 모델을 선택한다.

그림 3. | Fig. 3. LSTM 신경망 구조 | Structure of the LSTM network.

Download Original Figure

Ⅲ. LSTM 회귀 모델 설계 및 시뮬레이션 결과

본 논문에서는 보행자의 이동 경로가 데카르트 좌표계 상에서 점 데이터로 표현되는 시뮬레이션 데이터를 얻기 위하여 표적의 거리, 속도, 각도 정보를 임의로 설정한 후, 식 (1)부터 식 (6)까지의 과정을 거쳐 임의의 레이다 시뮬레이션 데이터 세트를 생성한다. 이러한 점 데이터의 좌푯값을 이용하여 LSTM 회귀 모델을 설계하고, 예측 성능을 확인하였다. 한 이동 경로는 200개의 산란된 점으로 구성되었으며, 다음 점을 예측하기 위한 윈도우의 길이는 경험적으로 50개의 점으로 설정하였다. 이후, 윈도우와 응답 데이터를 일대일 대응시켜 24,500개의 데이터 세트를 제작하였다. 이를 이용하여 윈도우를 통해 하나의 점이 예측되는 다대일 회귀 시스템을 설계하였다. LSTM 모델을 설계하기 위하여 표 1과 같이 초매개변수를 설정하였다. 총 20,000개의 데이터 세트를 훈련시켰으며, 4,000개의 데이터 세트를 검증 데이터로 사용하였다. 또한, LSTM 회귀 모델의 안정된 동작을 위하여 학습률은 0.001, 활성화 함수는 ReLU(rectified linear unit) 함수, 최적화 알고리즘은 Adam(adaptive moment estimation), 그리고 에포크는 15번으로 설정하였다. 설계한 LSTM 모델을 확인하기 위하여 학습 및 검증을 위해 사용된 데이터 세트 외의 500개의 데이터 세트에 대하여 테스트를 진행하였다. 윈도우를 점 50개로 설정하고, 이를 LSTM 회귀 모델에 입력으로 사용하였을 때 그림 4와 같은 결과를 얻을 수 있었다. 검증 데이터의 평균 제곱근 오차는 0.07로 계산되었으며, 이는 제안한 모델이 다양한 기울기에 걸쳐 효과적으로 정확하게 예측하는 것을 나타낸다.

그림 4. | Fig. 4. LSTM 회귀 모델을 통한 시뮬레이션 결과 | Results of simulation from the LSTM regression model.

Download Original Figure

Ⅳ. 실험 환경 및 실제 실험 데이터에 적용한 결과

본 논문에서는 실제 환경에서 보행자를 탐지하기 위하여 Texas Instruments사에서 제조한 MMWCAS-RF-EVM을 사용하였다. 이 시스템은 4개의 AWR2243 다중 입출력 FMCW 레이다 칩이 병렬 구성으로 통합되어 있다. 이는 단일 마스터 장치가 모든 4개의 장치 간에 신호를 분배하여 하나의 RF 송수신기처럼 작동하도록 한다. 이로써 최대 12개의 송신 안테나, 16개의 수신 안테나 요소를 지원하여 단일 장치 시스템보다 높은 신호 대 잡음비 및 각도 해상도를 달성할 수 있다. 실험은 그림 5에 묘사된 환경에서 이루어졌고, 레이다가 작동되는 동안 레이다가 장착된 플랫폼과 차량은 모두 정지한 상태로 유지되는 한편, 보행자는 차량의 후방에서 전방까지 걸어 나온다. 보행자는 각 실험마다 그림 5에 표시된 것과 같이 각각 세 가지 방향으로 이동하였다. 이러한 과정에서 보행자는 직접 전방 경로를 기준으로 −45° 각도로 레이다로부터 멀어지며, 45° 각도로 레이다에 접근하였다.

그림 5. | Fig. 5. 실험 환경 | Experimental environment.

Download Original Figure

위 실험을 통해 수집한 원시 레이다 데이터를 이용하여 보행자의 위치를 나타내기까지의 일련의 과정을 그림 6에 나타내었다. 우선 한 프레임의 데이터에 대해 푸리에 변환을 적용하여 표적의 거리 및 속도 정보를 도출한다. 이에 CA-CFAR 기법을 사용하여 보행자 및 차량 신호를 식별하였는데, 이때 임곗값의 가중치는 경험적으로 1.18로 결정될 때 가장 효과적이었다. 그림 6(b)를 살펴보면 5 m, 8 m 부근에서 속도가 0 m/s에 가까운 신호가 강하게 나타나는데, 실제 실험 환경과 비교하였을 때 차량으로부터 반사되는 신호임을 확인하였다. 이후, CA-CFAR에 의해 식별된 표적에 해당하는 피크의 인덱스를 3차원 데이터 세트에 반영하였다. 여기서 일컫는 3차원 데이터 세트는 안테나 배열의 시간 축 데이터를 주파수 축의 거리 및 속도 정보와 통합한 데이터 세트이다. 그 후, MUSIC 알고리즘을 사용하여 이 데이터 세트를 기반으로 표적에 대한 각도 데이터를 추출하고자 하였다. MUSIC 알고리즘을 효과적으로 적용하기 위하여 식 (6)에 언급된 의사 스펙트럼을 생성하는 데 필요한 잡음 공간의 고유 벡터를 확인하는 것이 중요하다. 이때 관심 있는 피크에 대한 고윳값은 경험적으로 3개를 넘기지 않으므로 본 연구에서는 상관 행렬로부터 도출되어 크기순으로 나열된 고윳값에 대응되는 고유 벡터에서 3개의 열을 제외한 나머지를 잡음 성분에 해당하는 고유 벡터로 결정하였다. 식 (6)을 통해 −90°부터 90°까지 스캔하여 조향 벡터와 잡음 공간의 벡터에 대해 의사 스펙트럼을 취하고, 의사 스펙트럼의 최댓값만 추출하여 그림 6(c)와 같이 표적 신호에 대한 각도 정보를 나타내었다.

그림 6. | Fig. 6. 단계별 실제 데이터 처리 | The sequence of processing actual data.

Download Original Figure

표적에 대한 위치를 가시적으로 나타내기 위하여 그림 6(d)와 같이 보행자의 위치를 데카르트 좌표계 상에 나타내었다. 표적으로부터 레이다까지의 도래각을 θ, 레이다로부터 표적까지의 거리를 r이라고 할 때, 데카르트 좌표계 상의 표적의 위치는

와 같이 나타난다. CA-CFAR를 통해 얻은 거리 정보와 MUSIC 알고리즘을 이용해 얻은 각도 정보를 이용하여 식 (7)을 적용하였으며, 표적의 속도 정보를 이용하여 정지한 차량의 점 산란원을 제거하였다. 이로써 시간에 따라 프레임을 누적하여 획득한 보행자의 경로는 그림 6(e)와 같이 나타난다. 이때 컬러맵의 스펙트럼에 따라 레이다의 작동이 시작한 지 얼마 되지 않은 시점을 푸른색, 레이다의 작동이 멈추기 직전의 시점을 붉은색 점으로 표시되도록 설정하여 시간에 다른 보행자의 이동 경향을 확인하였다.

위의 작업을 반복하여 세 가지 방향으로 이동하는 보행자의 경로에 대해 점 데이터를 프레임 단위로 누적한 결과를 그림 7에 나타내었다. 결과적으로 차량이 없을 때는 보행자의 신호가 빈 공간 없이 나타나지만, 정지된 차량이 있을 때는 차량 뒤에 가려진 보행자에 대한 점 데이터가 거의 나타나지 않는 것을 확인할 수 있다.

그림 7. | Fig. 7. 보행자의 경로에 대한 점 데이터 | Point data on the trajectory of pedestrians moving in three directions.

Download Original Figure

따라서 본 논문에서는 두 단계로 나누어 경로 예측을 진행한다. 우선 차량 뒤에 가려져 점 데이터로 명확히 나타나지 않은 보행자의 경로를 보간한다. 빈 공간에 대한 보간을 마친 후, 보행자의 미래 경로를 예측하기 위하여 앞서 보간한 점 데이터를 다시 회귀 모델의 입력으로 사용한다.

우선 LSTM 회귀 모델을 학습하기 위해 차량이 없을 때의 보행자로부터 반사되는 신호 데이터와 시뮬레이션 데이터를 종합하여 LSTM 신경망의 학습 데이터로 활용하였다. 이후 LSTM 회귀 모델을 통해 차량 뒤에서 이동하는 보행자의 경로를 보간하기 위하여 차량 후방에서 전진하기 시작하는 시점부터 차량 전방에서 방향을 전환하는 시점까지의 보행자 데이터를 입력 데이터로 사용하였다. 결과적으로 그림 8과 같이 최적의 경로로 예측되는 것을 확인하였다. 최종적으로 보행자의 미래 이동 방향을 추정하고, 경로를 예측한 결과를 그림 9에 나타내었다.

그림 8. | Fig. 8. LSTM 회귀 모델을 적용한 경로 보간 결과 | The results of interpolation of trajectories.

Download Original Figure

그림 9. | Fig. 9. 세 가지 방향으로 전진하는 보행자의 미래 경로 예측 결과 | Results of predicting the subsequent trajectories of pedestrians moving in the three different directions.

Download Original Figure

이때 검은 점으로 표현된 데이터와 붉은 점으로 표현된 데이터는 각각 입력 데이터와 예측된 결과 데이터를 의미한다.

실제 실험 환경에서의 성능을 평가하기 위하여 예측한 경로와 실제 경로 사이의 오차를 계산하였다. 이를 위하여 예측된 점의 좌표와 실제 위치를 나타내는 각 점에 대한 좌표 사이의 유클리드 거리를 계산한 다음 각 예측된 점에 대응되는 실제 위치에 대한 점과의 최소 거리를 그림 10에 그래프로 도시하였다. 그림 10은 예측 정확도의 변화를 나타내며, 예측되는 초반에 0.1 m 이하의 오차 거리가 발생하였다. 하지만 회귀 모델이 미래 위치를 예측하기 위하여 직전에 예측한 점을 이용하였기 때문에, 시간이 지날수록 오차율이 증가하는 것을 확인할 수 있다. 결과적으로 0.09 m의 평균 거리 오차를 가지며, 이는 모델이 실제 데이터와 긴밀하게 일치하는 방향을 추정하고, 미래 경로를 효과적으로 예측할 수 있음을 의미한다.

그림 10. | Fig. 10. 예측한 점과 실제 경로에 대한 점 사이의 유클리드 거리 오차 | Euclidean distance error between predicted and actual points.

Download Original Figure

Ⅴ. 결 론

본 논문에서는 FMCW 레이다 시스템을 사용하여 정지된 차량 뒤에서 나타나는 보행자를 탐지하고, 잡음 레벨과 관계없이 오경보율을 일정하게 유지하여 표적에 대한 신호 성분을 효과적으로 검출하는 CA-CFAR 알고리즘을 사용하였다. 또한 표적의 각도를 높은 해상도로 추정하는 MUSIC 알고리즘을 통합하였다. 이러한 선행 과정에서 얻은 데이터를 LSTM 회귀 모델에 사용하여 차량 뒤에서 나타나는 보행자의 미래 경로를 예측하는 새로운 접근 방식을 제안하였다. 결과적으로 0.09 m의 평균 거리 오차를 가지는 시스템을 설계하였다. 향후 서행하는 플랫폼에 설치된 레이다를 이용한 연구 및 다양한 환경에서의 실험을 진행하여 고도화된 연구를 진행할 예정이다. 본 연구는 기존의 분류 모델을 이용한 연구의 양자화 오류 문제점을 보완하고자 LSTM 회귀 모델을 사용하였다. 이를 이용하여 차량 뒤에서 이동하는 보행자의 경로를 보간하고, 사각지대에서 튀어나오는 사람에 대한 미래 경로를 예측하는 데에 정확도를 높임으로써 교통안전을 증진하고, 자율 주행 시스템의 신뢰성을 높이는 데 의의를 둔다.