다중 간섭 신호 억제를 위한 강화학습 기반의 광대역 Non-Uniformly Spaced Linear Array 설계 기법

Ⅰ. 서 론

특정 방향에서 오는 신호의 수신 감도를 높이기 위해 지향성(directivity)을 높이고, 다른 방향에서 오는 간섭(interference) 신호를 억제하기 위해 배열 안테나(array antenna)가 사용되고 있다^[1]. 높은 지향성, 좁은 빔 폭(beam width: BW), 낮은 부엽 수준(side-lobe level: SLL)과 같은 장점이 있는 배열 안테나는 무선통신과 레이다와 같은 다양한 분야에서 사용되고 있다^[2].

배열 안테나 빔 패턴의 BW를 유지하면서 SLL을 낮추기 위한 많은 연구가 이루어졌다^[3]∼[7]. 하지만, 이러한 방법은 재밍(jamming)과 방송 신호와 같이 강한 파워를 갖는 간섭(interference) 신호가 수신되는 경우에 효과적이지 않다. 따라서, 간섭 신호의 영향을 효과적으로 감쇄하기 위해 간섭 신호가 들어오는 방향에 널(null)을 생성하는 여러 연구가 이루어졌다^[8]∼[11].

하지만, 이러한 연구는 대부분 협대역(narrowband) 신호를 다루고 있어 동작 주파수(operating frequency)를 벗어난 신호를 수신하는 경우에 빔 왜곡(distortion)이 발생하여 간섭 신호를 효과적으로 제거할 수 없다. 따라서, 넓은 범위의 여러 주파수에서 간섭 신호의 영향을 효과적으로 감쇄하기 위해서 특정 주파수 범위 내 모든 주파수에서 널을 생성하는 광대역(wideband) 배열 안테나에 관한 연구가 이루어졌다^[12]∼[14].

참고문헌 [12]에서는 모든 주파수에서 널을 생성하기 위해 PSO(particle swarm optimization) 알고리즘을 사용하여 가중치를 최적화하는 시도가 있었다. 참고문헌 [13]에서는 배열 안테나의 수신 신호로부터 샘플 공분산 행렬(sample covariance matrix)과 널을 생성하기 위한 taper matrix를 계산하여 새로운 공분산 행렬을 만든 다음 LMS(least mean squares) 알고리즘을 사용하여 모든 주파수에서 널을 생성하기 위한 가중치를 최적화하는 시도가 있었다. 참고문헌 [13]의 성능을 개선한 참고문헌 [14]는 참고문헌 [13]과 동일하게 taper matrix와 샘플 공분산 행렬을 사용하여 공분산 행렬을 계산하고 모든 주파수에서 일정한 BW를 유지하기 위해서 SRV(spatial response variation) 제약 조건을 적용하고 Lagrange multiplier 방법을 사용하여 가중치를 최적화하는 시도가 있었다.

하지만, 이러한 모든 연구에서 모두 수학적으로 다루기 쉬운 ULA(uniform linear array) 구조가 사용되었다. 광대역 ULA의 안테나 간격은 일반적으로 광대역 설계 주파수 중 최대 동작 주파수의 반 파장으로 최적화되어 여러 주파수를 다루는데 근본적인 제약을 받아서 ULA의 근본적인 한계를 극복하기 위해 NUSLA(non-uniformly spaced linear array) 구조가 사용되었다.

광대역 NUSLA를 설계하기 위해서는 수학적으로 다루기 어려운 비선형(nonlinear) 최적화 문제를 다뤄야 한다. 따라서, 비선형 최적화 문제에 많이 쓰이는 휴리스틱(heuristic) 최적화 알고리즘을 사용하여 직접 광대역 NUSLA를 설계하는 시도가 있었다^[15],[16]. 참고문헌 [15]와 참고문헌 [16]에서는 QPSO(quantum particle swarm optimization)와 MORELA(modified reinforcement learning algorithm)을 사용하여 최적의 안테나 배열과 가중치를 설계하여 BW와 SLL를 만족하는 빔 패턴을 형성하는 광대역 NUSLA를 설계하는 시도가 있었다. 하지만, 이러한 광대역 NUSLA 설계 연구들은 BW와 SLL만을 다루고, 널 생성에 관해서는 다루지 않았다. 광대역 배열 안테나에서 널을 생성하기 위해서는 제한 조건을 추가해야 한다. 따라서, 광대역 NUSLA가 광대역 ULA보다 뛰어난 성능을 가짐에도 불구하고, 저자들이 아는 한 아직 널을 생성하기 위한 광대역 NUSLA 설계 연구는 이루어지지 않았다.

본 논문에서는 특정 주파수 범위 내의 모든 주파수에서 널을 원하는 위치에 생성하기 위해서 새로운 비용 함수(cost function)를 제안하였다. 또한, 제안된 비용 함수를 최소화하는 최적의 안테나 배열과 가중치를 찾기 위해서, 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA를 사용하였다. 제안 방법의 성능을 검증하기 위해 기존의 휴리스틱 최적화 알고리즘과 제안 방법을 컴퓨터 시뮬레이션을 통해 성능을 비교하였다.

본 논문의 구성은 다음과 같다. Section Ⅱ에서 배열 안테나 모델을 설명하고, Section Ⅲ에서 널을 생성하기 위한 새로운 비용 함수를 제안하고, Section Ⅳ에서 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA를 설명하였다. Section Ⅴ에서 제안 방법의 성능을 검증하기 위해 컴퓨터 시뮬레이션 결과를 제시하였다.

Ⅱ. 배열 안테나 모델

본 논문에서는 그림 1과 같이 N개의 등방성(isotropic) 안테나를 갖는 NUSLA를 고려하였다. 그림 1에서 d_n은 원점과 n번째 안테나 간의 거리, $w_n\left(=a_n{e}^{j{\varphi }_n}\right)$은 n번째 안테나의 복소 가중치(complex weight)이다. 복소 가중치에서 a_n과 ϕ_n은 각각 가중치의 크기(amplitude)와 위상(phase)이다.

그림 1. | Fig. 1. 비균등 간격 선형 배열의 구조도 | Structure of non-uniformly spaced linear array.

Download Original Figure

동작 주파수 f에서 특정 θ₀ 방향을 향해 빔을 조향할 때 array factor(AF)는 배열 안테나의 빔 패턴을 나타내고 식 (1)과 같이 정의된다^[1].

여기서 θ(∈[-π/2,π/2])는 polar angle, k(=2π/λ)는 파수(wavenumber), λ(=c/f)는 파장(wavelength), c는 전파 속도(propagation speed)이다.

BW와 SLL 제한 조건을 만족하고 원하는 위치에 널을 생성하는 최적의 안테나 배열 d=[d₁,…,d_N]^T와 가중치 w=[w₁,…,w_N]^T를 구하기 위해 새로운 비용 함수를 제안한다.

Ⅲ. 제안 비용 함수

본 논문에서는 주파수 범위 [f_min,f_max] 내에서 BW와 SLL 제한 조건을 만족하면서 원하는 위치에 정확히 널을 생성하는 광대역 NUSLA를 설계하기 위한 비용 함수를 제안한다. 제안된 비용 함수는 다음과 같이 3개의 함수로 구성되어 있고, 기존 광대역 NUSLA 설계 연구에서 사용되었던 비용 함수에 널 생성을 위한 함수를 추가하였다.

여기서 f()는 BW와 SLL을 제어하기 위한 함수, N()은 원하는 위치에 널을 생성하기 위한 함수, P()는 빔 조향 오류를 방지하기 위한 페널티 함수(penalty function), N_f(≥2)는 특정 주파수 범위 내 동작 주파수의 개수, f_i는 i번째 동작 주파수로 식 (3)과 같다.

IV. Modified Reinforcement Learning Algorithm

MORELA(modified reinforcement learning algorithm)는 강화학습 기반의 휴리스틱 최적화 알고리즘으로, 강화학습의 특성인 탐색(search)과 보상(reward)으로 기존 휴리스틱 최적화 알고리즘보다 global optimum을 찾을 확률이 높은 장점이 있다. MORELA는 model-free Q-learning 기반의 강화학습 알고리즘으로, 이전 단계의 best solution을 중심으로 특정 범위를 갖는 하위 환경(sub-environment)을 탐색하여 local optimum에 빠질 확률이 낮은 장점이 있어 기존의 휴리스틱 최적화 알고리즘을 뛰어넘는 성능을 갖는다^[17]. 특정 범위 내의 모든 주파수에서 널을 생성하는 광대역 NUSLA를 설계하기 위해, 본 논문에서 제안한 비용 함수를 최소화하는 최적의 안테나 배열과 가중치를 MORELA를 사용하여 찾았다.

MORELA는 최대 반복 횟수(T), 하위 환경의 크기(K), learning rate(α), search space reducing factor(β), discounting factor(γ) 파라미터로 구성되어 있다. 여기서 search space reducing factor β는 시간이 지남에 따라 하위 환경의 범위를 줄여주는 역할을 한다. MORELA의 최적화 과정은 초깃값 설정 단계와 업데이트 단계로 다음과 같이 구성되어 있다. 초깃값 설정 단계는 한 번만 이루어지며 업데이트 단계는 종료 조건(criteria)을 만족할 때까지 업데이트 과정을 반복한다.

Ⅴ. 시뮬레이션 결과

본 논문에서는 특정 주파수 범위 내의 모든 주파수에서 널 생성이 가능한 광대역 NUSLA를 설계하였다. 제안 방법과 기존의 휴리스틱 최적화 알고리즘으로 설계된 광대역 NUSLA의 빔형성(beamforming) 성능을 비교하기 위해 MATLAB R2020a를 사용하였다.

본 논문에서는 시뮬레이션을 통해 제안 방법의 성능을 검증하기 위해서 제안된 MORELA의 성능과 기존의 최적화 알고리즘인 MALO(modified ant lion optimization) 알고리즘^[11]과 QPSO(quantum particle swarm optimization) 알고리즘^[15]의 성능을 비교하였다.

본 논문에서 사용된 MORELA 파라미터는 다음과 같다. 최대 반복 횟수 T는 1000, 하위 환경의 크기 K는 10, learning rate α는 0.8, search space reducing factor β는 0.99, discounting factor γ는 0.2이다. NUSLA와 빔 패턴 파라미터 설정은 표 1 및 표 2에 제시하였고, 표 1에서 λ_min은 최대 주파수에서의 파장이다. 비용 함수에서 사용되는 파라미터 w_null과 ɛ은 각각 10²과 10¹⁰으로 설정하였다.

특정 주파수 범위 내의 모든 주파수를 사용하여 광대역 NUSLA를 설계하는 것은 무한한 주파수의 개수로 인하여 현실적으로 불가능하다. 따라서, 본 논문에서는 10개의 동작 주파수를 사용하여 광대역 NUSLA를 설계하였다. 하지만, 모든 주파수에서 성능을 확인하기 위해서 빔 패턴의 성능은 100개의 동작 주파수에 대해서 성능을 비교하였다.

본 논문에서는 간섭 신호의 개수가 3개(N_I=3)인 경우를 고려하였다. 모든 알고리즘을 100번 반복하여 얻은 빔 패턴 결과 중에서 가장 낮은 cost value를 갖는 빔 패턴을 사용하여 각 알고리즘의 성능을 비교하였다. 빔형성 성능을 비교하기 위해 배열안테나에서 많이 사용되는 HPBW(half-power beam width)와 PSLL(peak SLL)를 사용하였고, 널의 깊이가 원하는 수준을 만족하는지 확인하기 위해서 peak null을 추가로 사용하였다.

빔 조향각 θ₀가 0 deg, 간섭 신호의 수신 각도 ${\stackrel{\sim }{\theta }}_0$ 가 30 deg, 45 deg, 60 deg일 때 시뮬레이션을 진행하였다. 그림 2∼그림 4는 각각 주파수에 따른 HPBW, PSLL, peak null에 대한 모든 알고리즘의 성능을 보여주고, 그림 5∼그림 7은 제안 방법, QPSO 알고리즘, MALO 알고리즘을 사용하여 얻은 빔 패턴을 보여준다. 그림 8은 각 알고리즘에서 얻은 안테나 배열의 형상을 보여준다. 제안 방법은 사전에 설정한 BW와 SLL에 대한 제한 조건을 만족하고, 널의 깊이와 넓이에 대한 제한 조건을 모두 안정적으로 만족하는 널을 생성하였다. 하지만 QPSO 알고리즘은 높은 SLL을 갖고 최대 주파수와 최소 주파수에서 널에 대한 제한 조건을 만족하지 못하였다. MALO 알고리즘 또한 높은 SLL를 갖고 약 0.65 GHz에서 0.85 GHz에서만 널에 대한 제한 조건을 만족하고, 남은 주파수에서는 만족하지 못하였다.

그림 2. | Fig. 2. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 HPBW 성능 비교 | Performance comparison of HPBW in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

그림 3. | Fig. 3. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 PSLL 성능 비교 | Performance comparison of PSLL in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

그림 4. | Fig. 4. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 peak null 성능 비교 | Performance comparison of peak null in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

그림 5. | Fig. 5. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 제안 방법으로 설계된 빔 패턴 | Beam pattern designed by the proposed method in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

그림 6. | Fig. 6. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 QPSO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the QPSO algorithm in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

그림 7. | Fig. 7. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 MALO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the MALO algorithm in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

그림 8. | Fig. 8. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 각 알고리즘에서 얻은 안테나 위치 | Antenna position obtained from each algorithm in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=30°$, 45°, 60°.

Download Original Figure

빔 조향각 θ₀가 30 deg, 간섭 신호의 수신 각도 ${\stackrel{\sim }{\theta }}_0$ 가 −60 deg, −30 deg, 60 deg 일 때 추가 시뮬레이션을 진행하였다. 그림 9∼그림 11은 각각 주파수에 따른 빔 패턴의 HPBW, PSLL, peak null 성능을 보여주고, 그림 12∼그림 14는 모든 알고리즘으로 얻은 빔 패턴을 보여주고, 그림 15는 각 알고리즘에서 얻은 안테나 배열 형상을 보여준다. 제안 방법은 사전에 설정한 BW와 SLL 제한 조건을 모두 만족하고 정확한 위치에 널에 대한 제한 조건을 모두 만족하는 널을 생성하였다. 하지만, QPSO 알고리즘과 MALO 알고리즘은 모두 SLL과 널에 대한 제한 조건을 모든 주파수에서 만족하지 못하였다.

그림 9. | Fig. 9. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 HPBW 성능 비교 | Performance comparison of HPBW in case for θ₀=30°and ${\stackrel{\sim }{\theta }}_0=-60°$, −30°, 60°.

Download Original Figure

그림 10. | Fig. 10. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 PSLL 성능 비교 | Performance comparison of PSLL in case for θ₀=30°and ${\stackrel{\sim }{\theta }}_0=-60°$, −30°, 60°.

Download Original Figure

그림 11. | Fig. 11. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 peak null 성능 비교 | Performance comparison of peak null in case for θ₀=30°and ${\stackrel{\sim }{\theta }}_0=-60°$, −30°, 60°.

Download Original Figure

간섭 신호가 빔 조향각에 근접해서 들어올 때 빔 패턴의 변화를 확인하기 위한 시뮬레이션을 진행하였다. 빔

그림 12. | Fig. 12. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 제안 방법으로 설계된 빔 패턴 | Beam pattern designed by the proposed method in case for θ₀=30°and ${\stackrel{\sim }{\theta }}_0=-60°$,-30°,60°.

Download Original Figure

그림 13. | Fig. 13. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 QPSO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the QPSO algorithm in case for θ₀=30°and ${\stackrel{\sim }{\theta }}_0=-60°$,-30°,60°.

Download Original Figure

그림 14. | Fig. 14. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 MALO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the MALO algorithm in case for θ₀=30° and ${\stackrel{\sim }{\theta }}_0=-60°$,-30°,60°.

Download Original Figure

그림 15. | Fig. 15. 조향각 0도와 간섭 신호의 각도 −60, −30, 60도에서의 각 알고리즘에서 얻은 안테나 위치 | Antenna position obtained from each algorithm in case for θ₀=30° and ${\stackrel{\sim }{\theta }}_0=-60°$,-30°,60°.

Download Original Figure

조향각 θ₀는 0 deg, 간섭 신호의 수신 각도 ${\stackrel{\sim }{\theta }}_0$ 는 −20 deg, 20 deg, 40 deg로 설정하였다. 그림 16∼그림 18은 각 알고리즘에서 얻은 빔 패턴의 HPBW, PSLL, peak null 성능을 보여주고, 그림 19∼그림 21은 빔 패턴 결과를 보여주고, 그림 22는 각 알고리즘에서 얻은 안테나 배열 형상을 보여준다. 제안 방법으로 얻은 빔 패턴은 원하는 위치에 널을 정확히 생성하고 안정적으로 SLL을 조절하였다. 하지만, QPSO 알고리즘은 정확한 위치에 널을 생성하였지만 고대역 주파수에서 SLL이 증가하는 문제가 발생하였다. MALO 알고리즘은 간섭 신호가 빔 조향각 주변으로 들어올 때 널 생성과 SLL 제어를 모두 실패하였다.

제안된 MORELA 방법과 기존의 QPSO 알고리즘과 MALO 알고리즘의 최적화 소요 시간을 비교하였다. 제안 방법과 MALO 알고리즘은 총 2K개의 solution vector를 사용하고 QPSO 알고리즘은 총 K개의 solution vector를 사용한다. 본 논문에서는 정확한 최적화 소요 시간과 성능을 비교하기 위해서 모든 알고리즘에서 사용한 solution vector를 동일하게 설정하였다. 제안 방법과 MALO 알고리즘은 K를 10으로 설정하여 총 20개의 solution vector를 사용하였고, QPSO 알고리즘에서는 K를 20으로 설정하여 총 20개의 solution vector를 사용하였다. 최적화 소요 시간은 100번에 대한 평균 시간을 사용하였다. 제안 방법은 평균 39.06초, QPSO 알고리즘은 37.82초, MALO 알고리즘은 52.07초가 소요되었다. 제안 방법과 QPSO 알고리즘 간의 최적화 소요 시간 차이는 약 1.24초로 QPSO 알고리

그림 16. | Fig. 16. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 HPBW 성능 비교 | Performance comparison of HPBW in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

그림 17. | Fig. 17. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 PSLL 성능 비교 | Performance comparison of PSLL in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

그림 18. | Fig. 18. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 peak null 성능 비교 | Performance comparison of peak null in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

그림 19. | Fig. 19. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 제안 방법으로 설계된 빔 패턴 | Beam pattern designed by the proposed method in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

그림 20. | Fig. 20. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 QPSO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the QPSO algorithm in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

그림 21. | Fig. 21. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 MALO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the MALO algorithm in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

즘이 빠르지만, 제안 방법이 더 효과적인 방법임을 위의 여러 시뮬레이션에서 검증하였다. 반면에 MALO 알고리즘은 최적화 소요 시간이 제안 방법보다 약 1.5배 긴 것을 확인하였다.

그림 22. | Fig. 22. 조향각 0도와 간섭 신호의 각도 −60, −30, 60도에서의 각 알고리즘에서 얻은 안테나 위치 | Antenna Position obtained from each algorithm in case for θ₀=0°and ${\stackrel{\sim }{\theta }}_0=-20°$,20°,40°.

Download Original Figure

Ⅵ. 결 론

본 논문에서는 주어진 주파수 범위 내의 모든 주파수에서 원하는 위치에 널을 생성하기 위한 광대역 NUSLA 설계 기법을 제시하였다. 광대역에서 널을 생성하기 위한 새로운 비용 함수를 제안하였고, 제안된 비용 함수를 최소화하는 최적의 안테나 배열과 가중치를 찾기 위해서 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA를 사용하였다. 컴퓨터 시뮬레이션을 통하여 제안 방법과 기존의 휴리스틱 최적화 알고리즘의 성능을 비교하였다.