주파수 가중 MTI를 이용한 FMCW 레이다 손동작 인지 기법

손동작 감지를 위해서는 정지된 배경 객체에 의한 클러터 신호를 감쇄하고, 표적으로 하는 손동작만 감지하기 위한 MTI 필터가 요구된다. 이는 손동작보다 뒤에 존재하는 사람의 상체 및 의자와 같은 주변 물체로 인한 클러터 신호는 신경망 네트워크에서 손동작 인지 정확성을 감소시키기 때문이다.

FMCW 레이다에서 MTI 필터는 PRF(pulse repetition frequency) 간격으로 수집하는 표적 정보의 비트 주파수 간의 상관성 특성을 이용한다^[10],[11]. 기존 FMCW 레이다의 MTI 프로세싱은 비트 신호에 존재하는 배경 클러터 (background clutter)를 추출하여 제거하는 배경 제거 기법과, 유한 임펄스 응답 필터 또는 무한 임펄스 응답 필터를 이용하는 기법이 연구되었다^[12]. 본 논문에서는 그림 2와 같이 복잡성이 낮고 효율이 우수한 주파수 가중 MTI 기법을 제안한다.

제안하는 손동작 감지 레이다 시스템에서 X_c [Ω_i,k]는 N_c개 첩 파형의 표적 반사 신호로 구성된 수신기 출력의 2차원 프레임 데이터이며, t는 한 첩 내의 시간 인덱스이고, k는 첩 인덱스이다. X_c [t, 0]은 현재 첩의 반사 신호를 뜻한다. FFT 이후 데이터를 표현한 그림 2와 달리 시간 영역에서는 FMCW 레이다에서 정지된 객체의 반사 신호는 N_c개 반사 신호의 평균값인 ${\widehat{x}}_c\left[t\right]$되고, 이러한 배경 클러터 신호는 식 (1)과 같이 나타낼 수 있다^[13].

이는 시간 영역에서 수행하는 배경 제거 기법으로, 이를 고속 첩 FMCW 레이다의 주파수 영역에서 해석하면, 정지 객체는 각 첩에서 동일 주파수에 나타난다. 반면, 이동 객체는 고속 첩의 특성에 따라, 동일 주파수 Bin 내에서 위상 천이로 나타나기 때문에 각 첩 FFT의 평균을 취하면 시간 영역과 동일한 결과로 나타난다. 따라서 주파수 영역에서 보면 식 (1)은 식 (2)로 나타낼 수 있다.

그림 3은 손동작 표 2에서 손동작 (5)번 유형의 동작을 하였을 때의 수신 신호의 결과이다. 그림 3으로 나타낸 데이터 X_c [Ω_i,0]는 한 첩 신호의 FFT 결과이며, 별모양 마크 데이터는 식 (2) 평균 FFT 결과인 ${\widehat{X}}_c\left[{\Omega }_i\right]$이다. 그림 3 (a)에서 두 번째 피크는 X_c [Ω_i,0]에만 나타나는데, 이는 이동 표적에 해당하며, 두 데이터에 공통으로 나타나는 피크 값들은 정지 객체에 해당한다.

그림 3. | Fig. 3. (a) 원 신호 및 추출된 정적 객체 신호와 (b) MTI 가중치를 달리하여 클러터를 제거한 결과 | (a) Original signal and extracted static target signal and (b) Clutter rejecting results with different MTI weight.

Download Original Figure

고속 톱니파 FMCW 레이다는 송수신 안테나의 격리도 부족과 주파수 급변 구간에서 나타나는 스파크 신호로 인해 자기 간섭(self-interference)의 클러터 신호가 발생하는 문제점이 있다^[14]. 이러한 자기 간섭 클러터 신호는 그림 3(a)에서 볼 수 있듯이 DC 부근의 큰 신호로 나타난다. 그러나 이러한 클러터의 주파수 대역을 특정하여 제거할 수는 없기 때문에, 본 연구에서는 실험 데이터의 특성을 분석하여, 그림 3(a)에서 신호의 평균 세기보다 큰 값을 갖는 주파수 대역을 자기 간섭 클러터 신호의 주파수 대역으로 판단하였다. 이를 구분하는 신호 세기 값으로 정지 객체 FFT 출력의 평균값을 임계치로 이용하였고, 이는 식 (3)과 같고, 결과는 그림 3(a)의 평균 데이터이다.

식 (3)은 주파수별 가중치 W[Ω_i]를 정하는 방법을 나타낸다. 식 (3)에서 N_S =64로 첩 신호 내 ADC 샘플의 절반 값으로 FFT 포인트의 절반 값과 같다. W[Ω_i]는 정지 객체 FFT 출력값 ${\widehat{X}}_c\left[{\Omega }_i\right]$의 각각 주파수별로 곱해지는 64개의 가중치 값을 갖는 가중치 배열이다.

${\widehat{X}}_c\left[{\Omega }_i\right]$ 평균 신호 세기보다 큰 신호 세기를 갖는 주파수 대역을 DC 부근 자기 간섭 신호로 판단하였고, W[Ω_i] 배열에서 가중치 1을 두고 해당 성분들은 식 (4)와 같이 제거하였다. 식 (4)는 주파수 가중 MTI 필터링 후 도플러 FFT 이전 데이터인 Y_c [Ω_i,k]를 나타낸 것이다. 식 (4)에서 k은 한 프레임 내의 첩 인덱스이다. 또한, 그림 3(a)의 측정 데이터를 보면 자기 간섭 클러터 신호 외에도 여러 개의 정지 객체 신호가 존재한다. 그림 3(a)에서 이동 표적보다 높은 주파수에 나타나는 객체는 상체 및 팔에 의해 반사되는 신호 추정되면, 넓은 주파수 범위에 걸쳐 분포하고 있다. 손동작에서 가장 큰 정보를 갖는 부분은 이동 객체 정보이나, 부분적으로 손동작 간 정적 객체 정보도 손동작을 구분하는 정보를 포함하고 있다. 기존의 MTI 기법(W=1)을 적용하면 그림 3(b)에서 이동 객체만 남게 된다. 그런데, 이러한 기법은 (5)번 손동작에서 정지된 손에 해당하는 정보, 즉 그림 3(a)에서 정적 표적 객체의 값에 해당하는 손의 위치 정보도 제거하게 되어, 다른 손동작과의 차별성을 감소시키는 요인이 된다. 즉, 손동작을 구분하기 위해서는 자기 클러터는 전면 제거해야 하지만, 신체에 해당하는 정지 객체는 선택적으로 제거해야 한다. 하지만, 사람마다 다른 손 크기와 상체의 크기로 인하여 손동작과 상체를 구분하기 어렵다. 따라서 자기 간섭 신호 이외 신호는 가중치를 달리하여 신호를 감쇄하였다. 이는 식 (3)과 같이 신호 세기의 평균값보다 작은 신호의 세기를 갖는 주파수 대역은 W[Ω_i] 배열에서 1보다 작은 가중치 값을 갖도록 하였다. 그림 3(b)는 X_c [Ω_i,0]에 가중치 값을 [0.25, 0.5, 0.75, 1]로 달리하여 MTI를 적용한 결과이다. 가중치 값을 0.25로 사용하였을 경우 상체 클러터 신호를 적절히 제거하지 못하는 점을 그림 3(b)에서 볼 수 있다. 이러한 가중치 값은 사람에 따른 손동작과 상체 크기의 차이로 인해서 최적화하기 어려운 면이 있다. 본 연구에서는 손동작에서 얻은 전파 기반 이미지의 구조 유사도 지수(SSIM: structural similarity index method) 를 성능 척도로 이용하였고, 이를 통해 가중치 값을 최적화하였다. 가중치 값에 따른 성능은 그림 4와 같다. 가중치 값에 따른 성능을 비교하기 위해서 동일 손동작의 데이터 2개를 무작위로 선정하여 구조적 유사성 지수를 측정하였다. 이때, 비교하는 이미지는 후술하는 거리 프로파일과 도플러 프로파일의 2차원 이미지다. 그림 4에서 SSIM 측정값은 두 이미지 간의 유사성을 측정하는 지수이다^[15]. 그림 4에서 녹색으로 도시한 SSIM 측정값은 동일 가중치에서 5가지 손동작의 SSIM 측정값을 평균한 것이다.

그림 4. | Fig. 4. 가중치를 달리한 MTI 데이터에 대한 평균 SSIM 지수 비교 | Comparison of the average SSIM index for MTI data with different weights.

Download Original Figure

결과적으로 MTI 가중치를 달리하였을 때 가중치 값 0.5에서 가장 높은 유사도 지수를 나타내는 점을 알 수 있다. 이는 MTI 필터링을 통하여 사람마다 달리 존재하는 상체 클러터 신호를 제거하여 사람 간 차이를 줄인 결과이다. 따라서 본 연구에서는 자기 간섭 클러터를 제외한 정적 객체에 대해서는 가중치를 0.5로 낮추어 부분적으로 제거해 사용하였다.

기존 FMCW 레이다 신호처리는 2D-FFT를 통하여 64 첩으로 구성된 한 프레임마다 RDM(range-doppler map) 이라는 2차원 데이터를 얻을 수 있다^[16]. 손동작 인식에 사용한 데이터는 25개 프레임으로 구성되어 3차원 데이터가 된다. 신경망 네트워크의 연산 복잡성은 데이터 크기의 제곱으로 증가하고, 메모리도 데이터 크기에 비례해 증가한다. 신경망 커널의 복잡도와 메모리가 증가하는 문제점을 해결하기 위해 본 연구에서는 식 (5), 식 (6)과 같이 거리-속도-시간 3차원 데이터를 거리-시간, 속도-시간의 2차원 데이터 변환하여 연산 및 메모리 사용량을 축소하는 기존 구조를 채택하였다^[6]. 식 (5)는 같은 시간 영역을 갖는 속도 및 거리로 표현된 3차원 데이터 RVT(r, ν, T)를 속도 영역의 모든 성분을 합하여 평균하는 식이다.

여기서 r 은 RDM에서 거리 Bin을 뜻하고, v 는 도플러 Bin, T는 프레임 인덱스이다. N_S =64로 첩신호 내 ADC 샘플의 절반 값, N_c =64로 한 프레임에 반복되는 첩 신호의 수이다. 속도 성분만 남은 데이터VT(v,T)는 식 (6)과 같이 동일 방식으로 구한다. 그림 5는 한 프레임의 2차원 데이터를 1차원 데이터로 축소한 결과이다. 기존 연구^[6]에 이와 같은 방식으로 데이터를 축소하였다. 본 연구에서는 10 KHz의 고속 PRF를 갖는 기존 연구^[6]에 반하여 첩 신호 간 25 μs 휴지 시간을 갖도록 첩 사양을 PRF 6.45 KHz로 결정하였다. 이에 따라 낮은 속도 해상도를 갖지만 보다 적은 데이터로 메모리 부하를 절감하였다.

그림 5. | Fig. 5. 거리-도플러 2차원 정보와 압축 변환된 1차원 정보 | 2D data of range Doppler map and compression transformed 1D data.

Download Original Figure

축소한 1차원 데이터를 CNN 입력 데이터로 사용하기 전 전처리를 하였다. 전처리로 손동작에 의한 전파 신호에서 잡음을 제거하고, 각기 다른 손동작 크기에 따른 신호 세기의 스케일 차이를 줄이기 위하여 정규화를 진행하였다. 식 (7)은 앞서 계산한 식 (5)의 결과로 얻은 RT(r,T) 거리 프로파일의 평균값인 m_i 을 구한 것이다. 식 (8)은 이러한 m_i 값에 RT(r,T)의 분산 값을 더하여 임계치 값 Thr_i 로 사용하였다. 계산된 Thr_i 값을 최소값으로 이용하고 RT(r,T)를 프레임 인덱스 T마다 프레임 내 최대 수신 신호 세기를 최대값으로 이용하여 식 (9)와 같이 최소최대 정규화를 진행하였다. 이와 같은 방식으로 VT(ν, T)도 프레임 단위별 임계치를 적용하였다. 이러한 일반적인 정규화 기법을 이용하여 데이터 스케일 분포를 일정하게 만들고, 임계치를 통하여 잡음을 제거함으로써 인지 정확성을 높일 수 있다. 이러한 정규화에 따른 결과는 4장에서 고찰하였다.

이처럼 정규화를 거친 RT(r,T), VT(v,T) 2개의 1차원 정보는 하나의 프레임 시간 단위마다 출력된다. 본 연구에서 인지하려는 손동작은 1초 이하의 손동작이다. 따라서 0.78초 동안 25개의 프레임 데이터를 수집하였다. 수집된 데이터는 25개의 1차원 데이터로 구성된다. 이는 RT(r,T)와 VT(v,T)로 나뉘어 2개의 2차원 데이터이다. 본 연구에서는 이러한 2개의 2차원 데이터를 하나의 이미지로 간주하여 경량 2차원 CNN 입력 데이터로 사용하였고, 이를 통해 손동작을 분류 인지하였다. 경량 신경망 네트워크는 Binary Weight Layer(BWL), Binarized Layer (BL)^[17], Quantizated Layer(QL)^[18]로 구성된 맞춤형 네트워크를 사용하였다. 네트워크는 합성 곱 층으로 구성된 특징 추출과 선형 층으로 구성된 분류기로 이루어져 있다.