Ⅰ. 서 론
최근 UWB(ultra wide-band) 기술을 차량 내 탑승자 감지 센서(in-vehicle seat occupancy detection sensor)로 활용하려는 연구에 관심이 높아지고 있다. 차량 내 탑승자 감지 센서는 차량 내 어린이를 두고 운전자가 떠날 경우, 이를 감지하여 운전자에게 알려줄 수 있을 뿐만 아니라, 주차된 차에 도난 상황이 발생할 경우, 운전자에게 알려줄 수 있어 필수적으로 장착되고 있다. UWB 기술을 차량 내 탑승자 감지 센서로 응용하는 방법은 크게 UWB 펄스를 송신한 후 주변 물체에 맞고 돌아온 펄스를 이용하는 UWB 레이다 방식의 센서와 UWB 통신기기 간에 정보를 교환할 때 발생하는 CIR(channel impulse response)이 주변 상황의 변화에 따라 변화되는데, 이를 이용하는 UWB 통신 방식의 센서로 나눌 수 있다[1]~[3].
먼저, UWB 레이다 센서는 UWB 펄스의 좁은 펄스폭을 이용하는 펄스 레이다를 UWB의 기술기준인 최대출력 0 dBm/50 MHz에 맞게 적용한 것으로 1m 이내의 좁은 범위 내에서만 동작된다. 하지만 차량 내 탑승자 감지 센서는 차량 내부의 좁은 동작범위를 고려하면 큰 문제가 되지 않는다. 상용화된 UWB 레이다 센서로는 NoveldaTM 사에서 출시한 소출력 UWB 레이다 센서가 있다. 이 센서는 사람의 호흡수 측정, 사람의 존재 확인, 사람의 제스처 인식 등 다양한 분야에서 사용되고 있다[4],[5].
다음으로 UWB 통신 방식의 센서는 UWB 통신기술의 보급이 확대되면서 최근에 연구되기 시작하였다. 즉, UWB 기기 간에 데이터 통신이나 거리측정을 일차적으로 수행하면서 UWB 기기가 설치된 주변 상황의 변화까지도 인지할 수 있는 기능이 추가되는 것이다. 특히, 자동차에서는 UWB 스마트키가 도입됨에 따라 자동차 내에 UWB 통신기기가 기본 장착되어 있는 추세이므로 이를 그대로 이용할 수 있다는 장점이 있다. 이에 따라 최근에 UWB 통신에 센서 기능을 추가하려는 다양한 연구가 시작되고 있으며, 차세대 UWB 표준인 IEEE 802.15.4ab에서 UWB 센서에 대한 표준화도 진행 중에 있다[6]~[8].
이와 같이 차량 내 탑승자 감지 센서로 UWB 레이다 센서와 UWB 통신 센서가 활발히 연구되고 있지만, 두 센서의 성능 차이를 비교한 연구는 저자가 아는 한 아직까지 보고된 바가 없다. 따라서 본 연구에서는 동일한 환경에서 두 방식의 센싱 성능을 비교하려고 한다. 두 방식의 센서 성능을 비교하기 위하여 최대한 동일하게 두 방식의 센서를 차량 내에 설치하였고, 가급적 동일한 조건에서 실험을 진행하였다. 센서가 다르므로 기본적인 하드웨어 설치와 신호의 전처리(preprocessing)는 다를 수밖에 없으므로 이를 제외하고 상황인지를 위한 기계학습 방법도 유사하게 사용하여 성능을 비교하였다. 본 논문은 향후 UWB 센서가 다양한 분야에서 사용될 경우 어떤 방식의 센서가 적합한지 판별하는데 도움이 될 것이라 사료된다.
본 논문의 구성은 먼저 Ⅱ장에서는 본 연구에서 사용한 UWB 레이다와 UWB 통신 센서의 특징을 비교 설명하고, 자동차 내 좌석 탑승 감지를 위한 실험 환경의 구성 및 신호처리 방식을 설명한다. 다음으로, Ⅲ장에서는 탑승자감지 시나리오와 두 방식의 센서의 감지 성능을 비교하였다. 마지막으로 Ⅳ장에서 결론을 맺도록 한다.
Ⅱ. 좌석탑승감지를 위한 UWB 시스템의 구성
본 연구에서 사용된 UWB 좌석 탑승 감지 시스템의 구성은 그림 1과 같고, 사용된 UWB 레이다와 UWB 통신의 주요 사양은 표 1과 같다. UWB 레이다는 1.5 GHz의 대역폭을 갖는 Novelda사의 X4M300 모듈을, UWB 통신은 스마트폰과 자동차에 사용되어 활발하게 상용화되고 있는 IEEE 802.15.4z HRP 표준을 사용하는 Qorvo사의 DW3000을 사용하였다. 표 1과 같이 사용하는 UWB 레이다 주파수는 고정되어 있으므로 UWB 통신 주파수를 UWB 레이다와 유사한 채널인 8.748 GHz인 9번 채널로 설정하였다.
| UWB radar | UWB communication | |
|---|---|---|
| Center frequency | 8.748 GHz |
6.489 GHz (CH5) 7.987 GHz (CH9) |
| Bandwidth | 1.5 GHz | 499.2 MHz |
| Manufacturer/model | Novelda/x4[5] | Qorvo/DW3000[9] |
| Photo |
|
|
차량은 운전자 혼자 운전하기 보다는 차량에 많은 사람이 타는 7인승 SUV 모델을 선택하고, 의자는 4개만 사용하였다. 먼저 UWB 레이다는 출력이 낮아 센싱반경이 1 m 내외이므로 UWB 레이다 1개로는 모든 차량의 좌석탑승 상황을 감지하지 못함을 사전실험을 통해 확인하였다. 따라서 차량의 앞자리와 뒷자리의 좌석을 탐지하기 위해서 2개의 UWB 레이다를 사용하였다. UWB 레이다를 차량의 오른쪽 문의 상단 손잡이 부문에서 안테나 방향이 좌석을 바라보도록 설치하였다. 두 개의 UWB 레이다의 데이터는 USB 3.0을 지원하고, 7개의 포트를 가지고 있는 NEXTU사의 707U3 허브를 사용하여 USB 케이블을 통해 PC로 연결하였다.
다음으로 UWB 통신방식의 센서는 UWB 레이다와 달리 송신기와 수신기가 별도로 위치해야 하므로 송신기는 차량 실내의 백미러에 부착하였고, 수신기는 UWB 레이다의 설치와 가급적 유사하게 차량의 오른쪽 상단의 손잡이 부문에 위치시켰다. 단, 안테나 방향은 좌석을 바라보도록 위치하였다. 데이터 수집과정은 UWB 레이다와 동일하게 USB 허브를 통해 PC에 저장하였다. UWB 통신 동작을 위하여 UWB 송신기는 주기적으로 Blink 메시지를 송신하도록 하였고, 수신기 2개는 이를 동시에 수신하도록 하였다. 수신시 발생하는 CIR 신호를 수집하기 위하여 USB 레이다와 동일하게 PC에 연결하였다. 임베디드 프로그램을 작성하여 UWB 모듈에서 생성된 CIR 데이터는 SPI 인터페이스를 통해 노르딕(Nordic) 마이컴으로 전달되도록 하였고, 마이컴은 USB 허브를 거처 PC의 MATLAB 프로그램으로 데이터를 전송한다.
UWB 레이다의 수신 신호와 UWB 통신의 CIR 데이터는 기본적으로 차이가 있으므로 성능 비교를 위해서는 센서 데이터의 구성 및 그 처리과정에 주의가 필요하다. 본 연구에서 사용한 UWB 레이다 센서와 UWB 통신 센서의 데이터 처리 과정은 그림 2와 같다.
먼저 UWB 레이다 모듈은 1초에 20개의 데이터를 수집할 수 있는데, 한 번 측정한 데이터를 프레임이라 한다. 본 연구에서는 UWB 통신과의 데이터 수집 시간이 같도록 수집된 데이터 중 1초에 5개의 데이터만을 사용하였다. NoveldaTM사의 UWB 레이다 모듈은 하나의 프레임 당 266개의 실수 신호를 제공한다. 2개의 UWB 레이다 데이터의 크기는 크기의 차이가 있으므로 −0.5에서 0.5까지 정규화시킨 후 데이터를 결합하여 266×2×1,000개의 데이터를 생성하였다. 데이터를 수집하는 시간은 3분 20초 정도에 해당하므로 좌석에 앉아있는 사람은 가만히 있지 않고 대화를 하거나 조금씩 움직이는 등 차량 내에서 탑승자가 있는 상황과 유사하도록 하였다.
다음으로 UWB 통신의 CIR을 기반한 데이터를 수집하는 방법은 다음과 같다. UWB 송신기는 주기적으로 Blink 메시지를 송신하도록 하였고, 수신기 2개는 이를 동시에 수신한다. 그림 1(b)와 같이 UWB 송수신 시스템을 구성하고, UWB 송신기와 UWB 수신기 사이에 존재하는 사람의 수를 1명에서 4명까지 착석의 위치를 변화시키면서 CIR의 변화를 수집하였다. UWB 송신기는 수십 usec 단위로 Blink 메시지를 송신할 수 있는데, 좌석의 탑승상황의 변화가 빠를 필요가 없으므로 0.2초에 한 번씩 Blink 메시지를 송신하도록 하였다. UWB 송신주파수는 CH9번(중심주파수 7.987 GHz)을 사용하였다. 이렇게 송신된 UWB Blink 메시지를 4개의 UWB 수신기를 수신하며 패킷을 수신할 때마다 발생하는 CIR 데이터를 0.2초에 한 번씩 PC에 전달하고, PC는 이를 저장하게 된다.
UWB 수신기가 Blink 메시지를 받을 때마다 4,096개의 I신호와 Q신호의 복소수 CIR 데이터가 생성된다. 모든 CIR 데이터를 저장할 필요는 없으므로 의미있는 UWB 신호가 수신되는 시점인 FP_INDEX를 기준으로 100개의 데이터만을 저장하였다[10]. 이 때 UWB 수신기의 clock이 동기화되어 있지 않으므로 샘플링 순간에 미세한 차이가 발생하는데, 이를 제거하기 위하여 64배의 업샘플링(up-samnpling)을 이용한 정렬과정을 거치게 된다. 정렬과정을 거치게 되면 데이터의 샘플링 오차에 따른 데이터의 좌우 흔들림이 줄어들게 된다. CIR의 정렬 이후 다운샘플링(down-sampling)을 하여 데이터의 개수를 UWB 레이다와 동일하게 266개로 구성하였다. 다음으로 CIR 데이터는 복소수 형태이므로 크기를 구하면, 이 크기는 0부터 5,000사이의 값으로 변화를 가지게 된다. 이에 분류과정에서 데이터 처리를 용이하게 하기 위하여 0에서 1 사이로 크기를 정규화시켜 사용하였다(그림 3).
Ⅲ. 결과 및 고찰
본 논문에서는 표 2와 같이 빈 공간, 운전석, 조수석, 뒷좌석 2개에 사람이 앉는 모든 경우의 수인 16 가지 경우의 시나리오를 설정하고, 두 종류의 UWB 센서가 이를 분류할 때 정확도에 차이가 있는지 성능 비교 실험을 진행하였다. 사용된 시나리오 중 시나리오 ⓞ의 경우는 차량 내 탑승자가 아무도 없는 경우이고, 시나리오 ⑧은 운전자만 탑승한 경우, 시나리오 ⑪은 운전자와 운전자 뒷자리에 앉아 있는 경우이다. 또한 시나리오 ⑫는 운전자와 운전자 옆자리에 사람이 앉아있는 경우이고, 시나리오 ⑮는 모든 좌석에 사람 4명이 앉아 있는 경우를 의미한다.
데이터는 16가지 시나리오의 경우에 대해 각각 1,000개의 데이터프레임을 추출하였고, 1,000개의 데이터 중 650개를 학습데이터로, 150개는 검증 데이터로, 나머지 200개는 정확도 테스트로 사용하였다. 분류를 위한 기계학습 알고리즘으로는 그림 4와 같은 현재 비전 분야에서 많이 사용되는 CNN(convolutional neural network) 구조의 인공지능 알고리즘을 사용하였다. UWB 레이다와 UWB 통신을 이용한 센서의 성능을 비교하기 위하여 동일한 CNN 구조를 사용하였으며, 그 구성은 입력 레이어, 두 개의 컨볼루셔널 레이어, 완전 연결 레이어, 소프트맥스 레이어, 분류 레이어로 구성된다. 두 개의 컨벌루션 레이어에는 각각 2×2 크기의 필터 3개가 있으며, ReLU(rectified linear unit) 계층은 ReLU 활성화 함수를 적용하였고, Max pooling 레이어는 입력 값을 다운샘플링하는 데 사용된다. 특히, 5세대마다 학습 속도를 0.2배로 줄이는 학습 방법인 확률론적 경사하강법을 사용하여 신경망을 훈련하였다. 이때 초기 학습률은 0.005, 운동량은 0.9로 설정하였으며, 미니 배치의 크기는 256으로 설정되었으며, 최대 에포크(epoch) 수는 20으로 설정되었다.
동일한 CNN 알고리즘으로 UWB 탑승자 감지 알고리즘의 분류 성능을 실험한 결과, 분류 정확도는 두 방식 모두에서 그림 5와 같이 99 % 이상의 분류 정확도를 보였다. 그림 5(a)는 UWB 레이다의 시나리오별 Confusion Matrix을 보여준다. 표의 세로축은 실제 상황이고 가로축은 예측결과로서 UWB 레이다에 대한 CNN 모델도 시나리오 ①과 ⑥의 한 번씩을 제외하면 100 % 분류 정확도를 보였다. 다음으로 그림 5(b)는 각 시나리오에 대한 UWB 통신의 Confusion Matrix을 보여준다. UWB 통신 시 발생하는 CIR을 이용해 훈련된 CNN 모델은 시나리오 ⑨를 시나리오 ⑬으로 잘 못 판단한 2번을 제외하고는 모든 시나리오를 100 % 정확도로 추정하였다. 시나리오 ⑨와 시나리오 ⑬는 운전석과 운전석 뒷자리에 사람이 앉아있는 것은 같은데, 보조석에 사람이 있고 없고의 차이이므로 전혀 이상한 결과는 아니라고 할 수 있다.
본 연구는 하나의 차량에 4명의 사람이 하루 동안 진행한 실험을 바탕으로 한 결과이므로 그림 5의 결과를 일반화할 수는 없다. UWB 통신이든 UWB 레이다이든 UWB가 탑승자 감지 센서가 실제 차량에 사용되기 위해서는 다양한 차량, 다양한 날씨, 차가 주차한 주변 차의 상황의 변화, 다양한 연령대와 몸무게를 가진 탑승자에 대한 추가적인 실험 결과가 따라야 한다. 하지만 본 논문의 결과로부터 UWB 통신을 이용한 센서나 UWB 레이다 기기가 자동차 탑승 상황을 감지하는 센서로서 충분히 사용가능하다는 것은 분명히 알 수 있었다.
Ⅳ. 결 론
본 논문에서는 전통적인 UWB 레이다 센서와 UWB 통신을 이용한 센서의 두 가지 기술을 이용하여 차량 내 승객의 탑승 감지 시스템을 구현하고, 두 방식의 성능을 비교 분석하였다. 이를 위해 동일한 차량 환경에서 두 방식의 데이터를 수집하고, 적절한 전처리 단계를 적용하여 CNN 모델에 적용하였다. 두 방식 모두 100 % 가까운 감지 성능을 보임을 확인하였다. 이를 통해 UWB 통신을 이용한 센서는 UWB 레이다와 동일한 역할을 할 수 있었다. 특히, UWB 통신을 이용한 센서는 UWB 레이다와 동일한 기능을 수행할 수 있으면서도 별도의 센서를 차량에 추가하지 않고 기존의 스마트키 인프라를 그대로 활용할 수 있어, 향후 활발하게 활용될 것으로 기대된다.
