LDA 기반 분산 레이다 시스템을 활용한 손동작 분류 알고리즘 개발 및 성능 분석

I. 서 론

최근 사람의 움직임을 인식하는 분야는 높은 잠재성으로 많은 관심을 받고 있다^[1],[2]. 특히 마이크로 도플러(micro-Doppler: MD) 레이다는 저비용으로 미세한 손동작을 감지할 수 있어 여러 응용 분야에 활용되고 있다^[3]. 손동작 같은 사람의 움직임은 레이다의 수신 신호에 미세한 주파수 변화를 일으키며, 마이크로 도플러 특징(micro-Doppler signature: MDS)으로 알려진 이러한 변화는 동작에 따라 다르게 나타나기 때문에 인식에 활용 가능하다. MDS는 목표물의 불안정한 산란지점으로부터 발생하며, 레이다가 목표물을 바라보는 각도에 의해 결정되는데, 이는 레이다의 LoS(line-of-sight)에 깊게 의존하는 것을 의미한다. 이를 극복하기 위해 참고문헌 [4]에서는 다수의 레이다를 활용하여 다양한 각도에서 MDS 데이터를 수집하여 동작 인식에 활용하고자 하였다. 그러나 capacity가 무한한 이상적인 유선 채널을 통해 데이터를 공유하는 환경을 가정하였으며, 이는 분산 레이다 시스템 배치의 유연성을 저해한다.

본 논문에서 다양한 방향에서 손동작 MDS 데이터를 수집하기 위해 무선 백홀 링크로 연결된 분산 레이다 시스템을 고려한다. 분산 배치된 레이다는 capacity가 유한한 무선 백홀 링크로 높은 차원의 MDS 데이터를 공유하는 대신 선형 판별 분석(linear discriminant analysis: LDA) 알고리즘을 활용하여 차원을 감소시킨다. 반면, 차원 축소된 MDS 데이터는 복소수값을 갖는 벡터이며, 이를 전처리 과정 없이 양자화하여 중앙 데이터 집합센터로 전송하는 경우 상당한 왜곡을 야기한다. 본 논문은 해당 문제를 극복하기 위해 각 레이다에서 모든 손동작 클래스 대표값과의 거리값을 softmax 처리 과정을 통해 표현한 확률 벡터를 전송하는 방식을 제안한다. 또한, 해당 데이터를 유한개의 비트를 수용하는 무선 채널을 통해 전송하기 위해 합이 1인 전송 벡터에 대해 정규화한 피라미드 양자화(pyramid vector quantization: PVQ)를 적용한다.

본 논문에서는 중앙 데이터 집합센터에서 분류 성능을 향상시키기 위하여 무선 백홀 링크의 자원을 각 레이다의 분리도(separability: Sep.)에 따라 적응적으로 할당하였다. 특히 분리도가 높은 레이다에 더 많은 비트를 할당하여 동작 인식 성능을 개선하였다.

본 논문에서는 MNIST 손글씨 데이터 셋을 활용한 모의실험을 통해 제안하는 분류 방식의 성능을 평가하였다. 또한, USRP 기반 테스트 베드^[5]를 구축하여 서로 다른 세 가지 손동작에 대한 데이터 파일을 수집하였으며, 실측 데이터를 기반으로 분류 성능을 확인하였다.

이 논문의 Ⅱ장에서는 제안하는 분산 레이다 시스템 모델을 소개한다. Ⅲ장에서는 분산 배치된 레이다에서 GSVD (generalised singular value decomposition) 기반의 LDA 알고리즘을 활용하여 차원이 감소된 MDS를 얻는 기법을 설명한다. Ⅳ장에서는 중앙 데이터 집합센터에서 분산 레이다의 정보를 효율적으로 공유하여 동작을 인식하는 방법을 소개한다. Ⅴ장에서는 MNIST 데이터를 활용한 모의실험 결과를 확인하고 Ⅵ장에서는 실제 손동작 데이터를 활용한 실험 결과를 나타낸다. 마지막으로 Ⅶ장에서는 결론을 맺는다.

II. 시스템 모델

본 논문에서는 그림 1과 같이 수집한 데이터를 무선 백홀을 통해 전송하는 분산 레이다 시스템을 고려한다. L개의 레이다는 서로 다른 중심 주파수 $f_c^{(l)}$의 CW 파형 (l=1, …, L)을 송신한다. 각각의 레이다는 공간적으로 분리되어 있으므로 같은 목표물의 동작에 대해 서로 다른 MDS를 갖는 반사 신호를 수신한다. 목표물이 취하는 D개의 서로 다른 동작을 구분하는 상황을 고려한다면, i번째 동작(i=1, …, D)에 대하여 l번째 레이다에서 수신한 이산신호는 다음과 같이 나타낼 수 있다.

여기서 $h_i^{(l)}$는 채널이득이며, T_s는 n=0, …, N-1에 대하여 샘플링 주기를 나타낸다. ${\tau }_i^{(l)}$는 l번째 레이다와 목표물 간의 거리에 의한 시간 지연이며, $\Delta f_i^{(l)}$는 i번째 동작에 의해 발생하는 도플러 효과이다. 참고로 v^(l) [n]은 평균이 0이고, 분산이 ${\sigma }_n^2$인 AWGN(additive white Gaussian noise)을 나타낸다.

일반적으로 MDS는 시간에 대한 함수이므로 STFT (short-time Fourier transform)를 활용하면 시간-주파수 영역에서 명확하게 관측할 수 있다^[6]. 길이가 N인 임의의 이산 신호 s[n]에 대한 STFT는 식 (2)로 표현된다.

여기서 w(m)은 길이가 M인 윈도우 함수를 나타내며, O는 윈도우 길이에서 오버랩 사이즈를 뺀 값이다. 식 (1)의 레이다가 수신한 이산신호 $y_i^{(l)}[n]$에 STFT를 적용한 결과는 식 (3)과 같다.

여기서 $f_i^{(l)}[n]$는 식 (1)의 $e^{\left(j2\pi \left(f_c^{(j)}+\Delta f_i^{(i)}\left(n{T}_s\right)\right)\left(n{T}_s-{\tau }_i^{(j)}\right)\right)}$이다. 식 (3)의 $F_i^{(l)}[n,k]$는 l번째 레이다에서 i번째 동작을 관측하였을 때 채널이득을 제외한 MDS이며, N^(l) [n,k]는 AWGN을 STFT한 결과이다. n과 k에 대한 MDS를 분석하기 위해 $Y_i^{(l)}[n,k]$을 벡터화시키면 식 (4)와 같이 주어진다.

식 (3)의 $F_i^{(l)}[n,k]$와 N^(l) [n,k] 또한 유사한 방법으로 ${\overline{F}}_{ij}^{(l)}$와 ${\overline{N}}_{ij}^{(l)}$로 벡터화시킬 수 있으므로 식 (5)와 같이 표현할 수 있다.

본 논문에서는 분산 배치된 레이다에서 신호 처리한 데이터를 최대 N_t 비트 용량을 전송할 수 있는 무선 백홀 링크를 통해 중앙 데이터 집합센터로 전달하는 환경을 고려한다. 이는 즉 l번째 레이다가 오류 없이 정보를 전송하기 위해 사용할 수 있는 비트 수가 N_l일 때, 항상 아래 조건을 만족해야 하는 것을 의미한다.

III. GSVD 기반 LDA를 활용한 데이터 차원 축소 기법

식 (4)와 같이 높은 차원의 MDS 데이터는 무선 백홀 링크를 통해 중앙 데이터 집합센터로 전송하기에 적합하지 않다. 이번 장에서는 선형 판별 분석(linear discriminant analysis: LDA) 알고리즘을 활용하여 MDS 데이터의 차원을 낮추는 방법을 소개한다. LDA는 높은 차원의 데이터를 효과적으로 분류하기 위해 사용하는 방법으로, 주어진 데이터셋을 활용하여 선형 변환 행렬 G를 계산한다.

여기서 $G\in C^{\frac{(N-M)}{O}M\times M_D}$ 를 활용하면 데이터를 낮은 차원(M_D)으로 축소시킴과 동시에 구분하고자 하는 클래스 간의 분리도를 최대화할 수 있다.

우선 G를 계산하기 위해 l번째 레이다에서 각 손동작에 대한 MDS 데이터셋을 수집한다. 식 (4)로부터 ${\overline{Y}}_{ij}^{(l)}$를 i번째 손동작의 MDS를 나타내는 데이터셋 중 j번째 데이터라고 하면 수집한 전체 데이터셋은 식 (7)과 같다.

여기서 ${\text{A}}_i^{(1)}=\left[{\overline{\text{Y}}}_{\text{i}1}^{(1)},{\overline{\text{Y}}}_{\text{i}2}^{(1)},\dots ,{\overline{\text{Y}}}_{\text{iN}}^{(1)}\right]$이며, N_s는 손동작마다 데이터 개수를 의미한다. 수집한 데이터셋을 활용하면 3가지 산란행렬을 계산할 수 있다^[7].

식 (8)∼식 (10)은 각각 클래스 내 산란행렬, 클래스 간 산란행렬 그리고 전체 데이터 산란행렬이라고 하며, ${\overline{m}}_i^{(l)}$는 i번째 클래스 데이터들의 평균을 의미한다.

또한 수집한 전체 데이터셋의 평균 ${\overline{m}}_t^{(l)}$는 식 (12)와 같이 표현된다.

여기서 클래스 내 산란행렬 S_w^(l)의 trace(대각 행렬의 합)는 동일한 손동작 클래스 내의 데이터 간 분산을 의미한다. 반면, 클래스 간 산란행렬 S_b^(l)의 trace는 클래스 평균 벡터 ${\overline{m}}_i^{(l)}$들과 전체 데이터의 평균 벡터 ${\overline{m}}_t^{(l)}$의 분산이며, 이는 데이터 클래스 간의 거리를 나타낸다.

일반적으로 l번째 레이다에서 수신한 임의의 손동작 신호를 STFT한 결과, ${\overline{Y}}_{test}^{(l)}$는 각 클래스를 대표하는 평균 벡터 ${\overline{m}}_i^{(l)}$들과 비교하여 가장 차이가 작은 클래스로 쉽게 분류할 수 있다.

반면, ${\overline{Y}}_{test}^{(l)}$와 같이 높은 차원의 벡터는 높은 계산 복잡도를 요구하므로 다루기 어렵다.

만약 G가 존재한다면 낮춰진 차원의 손동작 데이터인 ${\tilde{Y}}_{ij}^{(l)}={\text{G}}^{\text{H}}{\overline{Y}}_{ij}^{(l)}\in C^{M_D\times 1}$에 대해 3가지 산란행렬을 식 (14)∼식 (16)과 같이 표현할 수 있다.

낮춰진 차원에서 손동작 분류 성능을 유지하기 위해서는 ${\stackrel{\sim }{\text{S}}}_w^{(1)}$의 trace를 최소화하며 ${\stackrel{\sim }{S}}_b^{(1)}$의 trace를 최대화하는 선형 변환 행렬 G를 찾는 것이 바람직하다. 따라서 l번째 레이다에서 최적의 선형 변환 행렬 G는 다음 비용함수를 통해 얻어진다.

식 (5)로부터 식 (8)의 클래스 내 산란행렬은 대칭행렬의 특성을 활용하여 식 (18)과 같이 표현할 수 있다.

여기서 ${\text{S}}_w^{\prime }{}^{(1)}$는 AWGN과 채널 이득을 제외한 손동작 데이터에 대한 클래스 내 산란행렬이다. 마찬가지로 클래스 간 산란행렬 또한 식 (19)과 같이 얻어진다.

따라서 식 (17)에서 최적의 선형 변환 행렬을 식 (20)과 같이 나타낼 수 있다.

즉, ${\widehat{\text{G}}}^{(l)}$는 행렬 쌍$\left({\text{S}}_b^{(1)},{\text{S}}_w^{\prime (1)}+{\sigma }_{\text{n}}^2/{\left|{\alpha }_{\text{i}}^{(1)}\right|}^2{\text{I}}_{MN}\right)$의 고유값 M_D개에 대한 고유벡터들로 얻어진다. 여기서 비용함수 $J^{(l)}\left({\widehat{G}}^{(l)}\right)$는 분리도를 나타내며, 이 값이 클수록 l번째 레이다에서 차원 축소된 손동작 클래스 간 구분이 더 잘 이루어지는 것을 의미한다. 또한 분리도 값이 ${\sigma }_n^2/{\left|{\alpha }_i^{(l)}\right|}^2$에 영향을 받으므로, 각 레이다의 SNR이 손동작 분류 성능을 결정하는 것을 알 수 있다.

아래의 알고리즘은 최적의 선형 변환 행렬을 효과적으로 구하기 위한 GSVD 알고리즘^[8]을 손동작 인식 레이다에 적용한 것이다.

${\overline{\text{G}}}^{(l)}$이 식 (28)로부터 얻어지고 나면 식 (13)의 MDS 데이터 ${\overline{Y}}_{test}^{(l)}$를 낮은 차원으로 변환시킬 수 있다. 이후 낮춰진 차원에서 i번째 손동작 클래스를 대표하는 벡터 ${\overline{m}}_i^{(l)}={\overline{\text{G}}}^{(l)H}{\overline{m}}_{\text{i}}^{(1)}$와의 거리를 구하면 식 (29)와 같다.

각각의 분산 배치된 레이다는 수식 (29)의 $z_i^{(l)}$ 중 가장 작은 값을 선택함으로써 손동작을 구분할 수 있다.

IV. 중앙 데이터 집합센터에서의 손동작 인식

각 레이다에서 얻어지는 MDS 데이터는 목표물과 레이다 사이의 LoS에 영향을 받는다. 이는 획득한 MDS 데이터들을 공유하여 손동작 분류에 활용할 수 있음을 의미한다. 그러나 데이터의 차원이 커질수록 백홀 링크의 부담이 증가하기 때문에 차원을 축소시킨 데이터를 공유하는 방식은 유효하다. 본 논문에서는 각 레이다에서 중앙 데이터 집합센터로 데이터를 효율적으로 전달하는 방식 및 분류 성능을 향상시킬 수 있는 방법을 제안한다.

Ⅲ절에서는 단일 레이다에서 GSVD 기반 LDA 알고리즘을 활용하여 분리도를 최대한으로 유지하며 차원을 축소시킨 MDS 데이터를 얻는 방법을 제안하였다. 이로부터 l번째 레이다에서는 식 (4)의 데이터 $\overline{Y_i}(l)$를 중앙 데이터 집합센터로 보내는 대신 차원을 축소시킨 ${\overline{\text{G}}}^{(l)H}{\overline{Y}}_i^{(l)}$를 전송할 수 있다. 그러나 해당 데이터는 연속적인 복소수값을 가지기 때문에 제한된 용량의 무선 백홀을 통해 전송하기 위해서는 적절히 양자화되어야 한다. 복소수값을 갖는 데이터를 양자화하여 전송하는 것은 상당한 왜곡을 발생시키므로 식 (29)의 각 손동작 클래스의 중심값으로부터 거리값 $z_i^{(l)}$를 활용한다.

V. MNIST 데이터를 활용한 모의실험

분산 레이다 시스템을 활용하여 손동작 분류 성능을 확인하기에 앞서, MNIST 데이터셋을 활용한 이미지 데이터 분류에 제안하는 LDA 알고리즘을 적용하였다. MNIST는 0부터 9까지의 손글씨로 적힌 숫자 데이터로 이루어져 있으며 이는 실측 데이터 기반 성능 시험 전 pilot 데이터로 주로 활용된다^[12]. 손글씨 데이터는 784픽셀 크기로 모의실험에서는 10개의 숫자 데이터 중 1, 2, 3에 해당하는 데이터를 추출하여 사용하였다. 레이다의 역할을 대신할 노드의 개수 L은 3이며, 각 노드에서는 1,000개의 MNIST 훈련 데이터를 활용하여 G를 계산하였다.

그림 4에서는 채널 이득에 따른 단일 노드의 평균 인식률과 softmax 처리된 데이터를 수신한 중앙 데이터 집합센터에서의 인식률을 나타내었다. 그림 4(a)에서 확인할 수 있듯이 노드 간의 정보를 공유하지 않았을 때 평균 인식률보다 중앙 데이터 집합센터에서의 인식률이 훨씬 높다. 또한, 분리도를 가중치로 활용했을 때 그렇지 않은 경우보다 인식률이 높은 것을 확인할 수 있다. 반면, 그림 4(b)에서는 각 노드의 채널 이득 [h⁽¹⁾, h⁽²⁾, h⁽³⁾]이 [1, 1, 1]로 동일하므로 가중치에 따른 인식률 차이가 없는 것을 확인할 수 있다.

그림 5 및 그림 6에서는 각 노드가 겪는 채널이득이 차이나는 상황에서 제안하는 PVQ 기반 비트 할당 방식의 성능을 확인하였다. N_t=∞는 중앙 데이터 집합센터와 노드가 유선으로 연결되어 데이터를 왜곡 없이 전송할 수 있는 경우를 나타내며 백홀 링크를 통해 전송할 수 있는 최대 비트가 각각 9와 12인 환경과 비교하였다. 여기서 전송할 수 있는 최대 비트가 증가할수록 전체적인 인식 성능이 개선됨을 확인할 수 있다.

그림 5(b) 및 그림 6(b)는 식 (42)와 같이 노드별로 분리도에 비례하여 비트를 할당한 것으로 동일하게 할당한 5(a) 및 그림 6(a)보다 성능이 향상되었다. 높은 SNR에서는 A값을 키울수록 인식률이 향상된다. 반면, 낮은 SNR에서는 4-2절에서 살펴보았듯 A값이 커질수록 급격하게 감소하는 출력값으로 인하여 modified softmax의 인식 성능이 감소하는 것을 알 수 있다. 따라서 A값을 2 이하로 설정한 modified softmax를 적용하면 SNR에 관계없이 기존의 softmax 방식보다 인식률이 향상되는 것을 확인할 수 있다.

VI. 실측 데이터 기반 손동작 분류 실험 결과

제안하는 LDA 기반 분류 알고리즘이 적용된 분산 레이다 시스템의 성능을 검증하기 위해 CBX 보드가 장착된 USRP N210^[13]을 활용하여 그림 7과 같이 실측 데이터 수집을 위한 테스트 베드를 구성하였다.

각 레이다의 반송파 주파수는 $\left[f_c^{(1)},f_c^{(2)},f_c^{(3)}\right]=[4\cdot 1,4.3,4.5]$ GHz, 샘플링 속도는 200 kHz로 설정하였다. 단, 손동작으로 발생하는 도플러 주파수는 높지 않기 때문에 2 kHz가 되도록 리샘플링하였다. 수집한 시간 샘플 N=1,200개에 대해 손동작의 MDS 데이터를 얻기 위해 M=64인 윈도우 함수를 사용하여 STFT를 적용하였다. 오버랩사이즈는 M의 75 %가 되도록 설정하여 O는 64-48=16이 된다. 따라서 식 (4)의 MDS 데이터의 차원은 4,544이다.

본 논문에서는 3개의 서로 다른 손동작인 앞뒤로 뒤집기(HG1), 박수치기(HG2), 주먹 쥐었다 펴기(HG3)를 구분하기 위해 MDS 데이터를 수집하였다. 그림 8에서는 동일한 동작임에도 불구하고, 분산된 레이다가 관측하는 각도가 다르기 때문에 서로 다른 MDS를 갖는 것을 확인할 수 있다.

각 레이다에서는 손동작별로 180개의 MDS 데이터를 수집하여 120개는 ${\overline{\text{G}}}^{(l)}$를 구하기 위해 사용하였고, 나머지 60개를 분류 실험에 활용하였다. 표 1은 PVQ 기반 비트 할당 방식을 적용하였을 때의 인식 성능을 나타낸 것이며 단일 레이다에 비해 중앙 데이터 집합센터에서 데이터를 공유하였을 때 성능이 뛰어나다. 무선 링크가 활용할 수 있는 자원인 비트 N_t가 늘어날수록 성능이 개선되며, 모든 레이다에 동일하게 비트를 할당하는 것보다 높은 분리도를 갖는 레이다에 비트를 많이 할당하는 것이 성능을 향상시키는 것을 확인할 수 있었다.

또한, MNIST 기반 모의실험 결과와 동일하게 A값이 증가할수록 성능이 향상된다. 단, 표 2와 같이 A값이 일정 수준 이상에서는 성능이 크게 변화하지 않는 것을 확인할 수 있었다.

VII. 결 론

본 논문에서는 무선 백홀 링크를 통해 데이터를 공유하는 분산 레이다 시스템을 위한 LDA 기반 동작 분류 알고리즘을 제안하였다. 분산 배치된 레이다는 획득한 고차원의 MDS 데이터를 LDA를 통해 차원을 감소시키며, 해당 데이터를 중앙 데이터 집합센터로 효율적으로 전달하기 위해서 softmax 처리과정을 거친 확률 값을 PVQ를 적용하여 양자화한 후 전송한다. 분류 성능을 향상시키기 위하여 중앙 데이터 집합센터는 각 레이다의 분리도를 고려하여 채널 자원을 할당한다. 모의실험 및 실측데이터를 기반으로 제안하는 알고리즘이 유선으로 연결된 백홀 시스템과 비교할만한 성능임을 검증하였다. 본 연구를 바탕으로 분류 가능한 동작의 개수를 늘리면 더 효용성이 높은 시스템이 될 것으로 예상된다.