The Journal of Korean Institute of Electromagnetic Engineering and Science

The Korean Institute of Electromagnetic Engineering and Science

J. Korean Inst. Electromagn. Eng. Sci. 2022; 33(10):811-823

pISSN: 1226-3133, eISSN: 2288-226X

DOI: https://doi.org/10.5515/KJKIEES.2022.33.10.811

논문/REGULAR PAPERS

다중 간섭 신호 억제를 위한 강화학습 기반의 광대역 Non-Uniformly Spaced Linear Array 설계 기법

강세영¹

, 김선교^*

, 박철순^*

, 정원주^**^,^†

Design Approach of a Wideband Non-Uniformly Spaced Linear Array Based on Reinforcement Learning to Suppress Multiple Interference Signals

Se-Young Kang¹

, Seon-Kyo Kim^*

, Cheol-Sun Park^*

, Won-Zoo Chung^**^,^†

¹고려대학교 컴퓨터학과

^*국방과학연구소

^**고려대학교 인공지능학과

¹Department of Computer Science and Engineering, Korea University

^*Agency for Defense Development (ADD)

^**Department of Artificial Intelligence, Korea University

^†Corresponding Author: Won-Zoo Chung (e-mail: wchung@korea.ac.kr)

© Copyright 2022 The Korean Institute of Electromagnetic Engineering and Science. This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/4.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

Received: Aug 26, 2022; Revised: Sep 19, 2022; Accepted: Oct 05, 2022

Published Online: Oct 31, 2022

요약

광대역 배열 안테나 설계에서 간섭 신호의 영향을 효과적으로 감쇄하기 위해서 널을 생성하는 많은 연구가 이루어지고 있다. 광대역에서 널을 생성하기 위해 수학적으로 다루기 쉬운 ULA(uniform linear array)가 많이 사용되고 있다. 하지만, ULA 구조의 한계로 인하여 빔형성 성능에 제약을 받는다. 어레이의 간격이 비선형인 NUSLA(non-uniformly spaced linear array)는 수학적으로 다루기 어려운 비선형 문제를 다루지만, ULA의 구조적 한계를 넘어선 성능 향상을 보일 수 있다. 그러나 특정 위치에 널을 생성하기 위해서는 추가 제한 조건이 요구되며, 광대역 NUSLA를 이용한 널 생성에 대해서는 아직 연구된 바 없다. 본 논문에서는 원하는 위치에 널을 생성하는 광대역 NUSLA 설계를 위한 새로운 비용 함수를 제안하고, 제안된 비용 함수를 최소화하여 최적의 안테나 배열과 가중치를 찾기 위하여 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA(modified reinforcement learning algorithm)를 사용한다. 컴퓨터 시뮬레이션을 통해 기존 휴리스틱 알고리즘들과 제안된 강화학습 기반의 MORELA와의 성능을 비교한다.

Abstract

In this paper, we present a novel design approach for a wideband non-uniformly spaced linear array (NUSLA) to suppress the effect of interference signals. Notably, a uniform linear array (ULA), which is easy to handle, is widely utilized to generate nulls over a wide band; however, its beamforming performance is limited owing to the ULA structure. Although a NUSLA with nonlinear spacing addresses nonlinear problems that are difficult to handle mathematically, it can exhibit performance improvements surpassing those of ULA structures. However, an additional constraint is required to generate nulls at a specific position, and this has not yet been studied for null generation using wideband NUSLA. In this paper, we propose a novel cost function for designing a wideband NUSLA, which generates a null at the desired position, and we utilize the modified reinforcement learning algorithm (MORELA), which is a heuristic optimization algorithm based on reinforcement learning (RL), to minimize the proposed cost function and analyze the optimized antenna array and weights. Further, we compare the performance of the proposed MORELA based on RL with that of existing heuristic optimization algorithms via computer simulations.

Keywords: Non-Uniformly Spaced Linear Array (NUSLA); Reinforcement Learning; Wide Band; Interference Suppression; Null Positioning

Ⅰ. 서 론

특정 방향에서 오는 신호의 수신 감도를 높이기 위해 지향성(directivity)을 높이고, 다른 방향에서 오는 간섭(interference) 신호를 억제하기 위해 배열 안테나(array antenna)가 사용되고 있다^[1]. 높은 지향성, 좁은 빔 폭(beam width: BW), 낮은 부엽 수준(side-lobe level: SLL)과 같은 장점이 있는 배열 안테나는 무선통신과 레이다와 같은 다양한 분야에서 사용되고 있다^[2].

배열 안테나 빔 패턴의 BW를 유지하면서 SLL을 낮추기 위한 많은 연구가 이루어졌다^[3]∼[7]. 하지만, 이러한 방법은 재밍(jamming)과 방송 신호와 같이 강한 파워를 갖는 간섭(interference) 신호가 수신되는 경우에 효과적이지 않다. 따라서, 간섭 신호의 영향을 효과적으로 감쇄하기 위해 간섭 신호가 들어오는 방향에 널(null)을 생성하는 여러 연구가 이루어졌다^[8]∼[11].

하지만, 이러한 연구는 대부분 협대역(narrowband) 신호를 다루고 있어 동작 주파수(operating frequency)를 벗어난 신호를 수신하는 경우에 빔 왜곡(distortion)이 발생하여 간섭 신호를 효과적으로 제거할 수 없다. 따라서, 넓은 범위의 여러 주파수에서 간섭 신호의 영향을 효과적으로 감쇄하기 위해서 특정 주파수 범위 내 모든 주파수에서 널을 생성하는 광대역(wideband) 배열 안테나에 관한 연구가 이루어졌다^[12]∼[14].

참고문헌 [12]에서는 모든 주파수에서 널을 생성하기 위해 PSO(particle swarm optimization) 알고리즘을 사용하여 가중치를 최적화하는 시도가 있었다. 참고문헌 [13]에서는 배열 안테나의 수신 신호로부터 샘플 공분산 행렬(sample covariance matrix)과 널을 생성하기 위한 taper matrix를 계산하여 새로운 공분산 행렬을 만든 다음 LMS(least mean squares) 알고리즘을 사용하여 모든 주파수에서 널을 생성하기 위한 가중치를 최적화하는 시도가 있었다. 참고문헌 [13]의 성능을 개선한 참고문헌 [14]는 참고문헌 [13]과 동일하게 taper matrix와 샘플 공분산 행렬을 사용하여 공분산 행렬을 계산하고 모든 주파수에서 일정한 BW를 유지하기 위해서 SRV(spatial response variation) 제약 조건을 적용하고 Lagrange multiplier 방법을 사용하여 가중치를 최적화하는 시도가 있었다.

하지만, 이러한 모든 연구에서 모두 수학적으로 다루기 쉬운 ULA(uniform linear array) 구조가 사용되었다. 광대역 ULA의 안테나 간격은 일반적으로 광대역 설계 주파수 중 최대 동작 주파수의 반 파장으로 최적화되어 여러 주파수를 다루는데 근본적인 제약을 받아서 ULA의 근본적인 한계를 극복하기 위해 NUSLA(non-uniformly spaced linear array) 구조가 사용되었다.

광대역 NUSLA를 설계하기 위해서는 수학적으로 다루기 어려운 비선형(nonlinear) 최적화 문제를 다뤄야 한다. 따라서, 비선형 최적화 문제에 많이 쓰이는 휴리스틱(heuristic) 최적화 알고리즘을 사용하여 직접 광대역 NUSLA를 설계하는 시도가 있었다^[15],[16]. 참고문헌 [15]와 참고문헌 [16]에서는 QPSO(quantum particle swarm optimization)와 MORELA(modified reinforcement learning algorithm)을 사용하여 최적의 안테나 배열과 가중치를 설계하여 BW와 SLL를 만족하는 빔 패턴을 형성하는 광대역 NUSLA를 설계하는 시도가 있었다. 하지만, 이러한 광대역 NUSLA 설계 연구들은 BW와 SLL만을 다루고, 널 생성에 관해서는 다루지 않았다. 광대역 배열 안테나에서 널을 생성하기 위해서는 제한 조건을 추가해야 한다. 따라서, 광대역 NUSLA가 광대역 ULA보다 뛰어난 성능을 가짐에도 불구하고, 저자들이 아는 한 아직 널을 생성하기 위한 광대역 NUSLA 설계 연구는 이루어지지 않았다.

본 논문에서는 특정 주파수 범위 내의 모든 주파수에서 널을 원하는 위치에 생성하기 위해서 새로운 비용 함수(cost function)를 제안하였다. 또한, 제안된 비용 함수를 최소화하는 최적의 안테나 배열과 가중치를 찾기 위해서, 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA를 사용하였다. 제안 방법의 성능을 검증하기 위해 기존의 휴리스틱 최적화 알고리즘과 제안 방법을 컴퓨터 시뮬레이션을 통해 성능을 비교하였다.

본 논문의 구성은 다음과 같다. Section Ⅱ에서 배열 안테나 모델을 설명하고, Section Ⅲ에서 널을 생성하기 위한 새로운 비용 함수를 제안하고, Section Ⅳ에서 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA를 설명하였다. Section Ⅴ에서 제안 방법의 성능을 검증하기 위해 컴퓨터 시뮬레이션 결과를 제시하였다.

Ⅱ. 배열 안테나 모델

본 논문에서는 그림 1과 같이 N개의 등방성(isotropic) 안테나를 갖는 NUSLA를 고려하였다. 그림 1에서 d_n은 원점과 n번째 안테나 간의 거리, $w n (= a n e j ϕ n)$ 은 n번째 안테나의 복소 가중치(complex weight)이다. 복소 가중치에서 a_n과 ϕ_n은 각각 가중치의 크기(amplitude)와 위상(phase)이다.

그림 1. | Fig. 1. 비균등 간격 선형 배열의 구조도 | Structure of non-uniformly spaced linear array.

Download Original Figure

동작 주파수 f에서 특정 θ₀ 방향을 향해 빔을 조향할 때 array factor(AF)는 배열 안테나의 빔 패턴을 나타내고 식 (1)과 같이 정의된다^[1].

A F (θ; w, d, f, θ 0) = ∑ n = 1 N w n exp (j k d n (sin (θ) − sin (θ 0)))

(1)

여기서 θ(∈[-π/2,π/2])는 polar angle, k(=2π/λ)는 파수(wavenumber), λ(=c/f)는 파장(wavelength), c는 전파 속도(propagation speed)이다.

BW와 SLL 제한 조건을 만족하고 원하는 위치에 널을 생성하는 최적의 안테나 배열 d=[d₁,…,d_N]^T와 가중치 w=[w₁,…,w_N]^T를 구하기 위해 새로운 비용 함수를 제안한다.

Ⅲ. 제안 비용 함수

본 논문에서는 주파수 범위 [f_min,f_max] 내에서 BW와 SLL 제한 조건을 만족하면서 원하는 위치에 정확히 널을 생성하는 광대역 NUSLA를 설계하기 위한 비용 함수를 제안한다. 제안된 비용 함수는 다음과 같이 3개의 함수로 구성되어 있고, 기존 광대역 NUSLA 설계 연구에서 사용되었던 비용 함수에 널 생성을 위한 함수를 추가하였다.

f w i d e (w, d; θ 0;) = ∑ i = 1 N f f (w, d; f i, θ 0) + N (w, d; f i, θ 0) + P (f i, θ 0)

(2)

여기서 f()는 BW와 SLL을 제어하기 위한 함수, N()은 원하는 위치에 널을 생성하기 위한 함수, P()는 빔 조향 오류를 방지하기 위한 페널티 함수(penalty function), N_f(≥2)는 특정 주파수 범위 내 동작 주파수의 개수, f_i는 i번째 동작 주파수로 식 (3)과 같다.

f i = f min + f max − f min N f − 1 (i − 1)

(3)

3-1 BW와 SLL 제어를 위한 함수

BW와 SLL을 제어하기 위한 함수 f()는 BW 밖의 SLL에만 영향을 주고 메인 빔 패턴에는 영향을 주지 않는다. 따라서, f()는 설계 빔 패턴에서 SLL에 대한 에러를 식 (4)와 같이 계산한다.

f (w, d; f; θ 0) = ∫ I | S L L − 20 log 10 (| A F (θ, w, d; f, θ 0) | max (| A F (θ, w, d; f, θ 0) |)) | d θ

(4)

여기서 SLL은 SLL 제한 조건, Ι는 SLL에 대한 적분 구간으로 식 (5)와 같다.

Ι = [− π 2, θ 0 − B W 2] ∪ [θ 0 + B W 2, π 2]

(5)

여기서 θ₀는 빔의 조향각, BW는 BW 제한 조건이다.

3-2 Null 생성을 위한 함수

원하는 위치에 N_I개의 널을 생성하기 위해서 새로운 함수를 제안한다. 본 논문에서 새롭게 제안된 함수 N()은 모든 주파수에서 널에 대한 에러를 식 (6)과 같이 계산하여 빔 패턴에 널을 생성한다.

N (w, d; f, θ 0) = ∫ ϕ w v l l × | N L L − 20 log 10 (| A F (θ, w, d; f, θ 0) | max (| A F (θ, w, d; f, θ 0) |)) | d θ

(6)

여기서 w_null은 널 생성을 위한 가중치 파라미터, ΝLL은 설계 널의 깊이(depth), ϕ는 널에 대한 적분 구간으로 식 (7)과 같다.

ϕ = ∪ i = 1 N I ([θ ∼ i − B W n u l l 2, θ ∼ i + B W n u l l 2])

(7)

여기서 $θ ∼ i$ 는 i번째 간섭 신호의 수신 각도, BW_null은 널의 넓이다.

3-3 빔 조향 오류 방지를 위한 페널티 함수

복소 가중치를 사용하여 빔 패턴을 설계하면 안테나 간의 위상 차이로 인해 빔 조향각이 틀어지는 문제가 발생할 수 있다. 따라서, 본 논문에서는 이러한 문제를 방지하기 위해서 페널티 함수를 추가하였다. 페널티 함수 P()는 빔 조향각 에러가 발생했을 때 다음과 같이 페널티를 준다.

P (f, θ 0) = {ε f o r arg max θ A F (θ, w, d; f, θ 0) ≠ θ 0 0 f o r o t h e r w i s e

(8)

여기서 ɛ는 페널티 계수(penalty coefficient)이다.

본 논문에서 제안한 비용 함수를 최소화하는 광대역 NUSLA의 안테나 배열과 가중치를 구하기 위해서 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA^[17]를 사용하였다.

IV. Modified Reinforcement Learning Algorithm

MORELA(modified reinforcement learning algorithm)는 강화학습 기반의 휴리스틱 최적화 알고리즘으로, 강화학습의 특성인 탐색(search)과 보상(reward)으로 기존 휴리스틱 최적화 알고리즘보다 global optimum을 찾을 확률이 높은 장점이 있다. MORELA는 model-free Q-learning 기반의 강화학습 알고리즘으로, 이전 단계의 best solution을 중심으로 특정 범위를 갖는 하위 환경(sub-environment)을 탐색하여 local optimum에 빠질 확률이 낮은 장점이 있어 기존의 휴리스틱 최적화 알고리즘을 뛰어넘는 성능을 갖는다^[17]. 특정 범위 내의 모든 주파수에서 널을 생성하는 광대역 NUSLA를 설계하기 위해, 본 논문에서 제안한 비용 함수를 최소화하는 최적의 안테나 배열과 가중치를 MORELA를 사용하여 찾았다.

MORELA는 최대 반복 횟수(T), 하위 환경의 크기(K), learning rate(α), search space reducing factor(β), discounting factor(γ) 파라미터로 구성되어 있다. 여기서 search space reducing factor β는 시간이 지남에 따라 하위 환경의 범위를 줄여주는 역할을 한다. MORELA의 최적화 과정은 초깃값 설정 단계와 업데이트 단계로 다음과 같이 구성되어 있다. 초깃값 설정 단계는 한 번만 이루어지며 업데이트 단계는 종료 조건(criteria)을 만족할 때까지 업데이트 과정을 반복한다.

4-1 초깃값 설정 단계

초깃값 설정 단계는 최적의 안테나 배열과 가중치를 찾기 전에 초기 파라미터와 best solution을 설정하는 사전 준비 단계이다. 먼저 파라미터 (T,K,α,β,γ) 설정이 이루어지고, K개의 안테나 간격과 가중치의 초깃값이 식 (9)를 이용하여 생성된다.

d k, n = ∑ i = 1 n (d min + (d max − d min) × u k, i) a k, n = a min + (a max − a min) × v k, i k = i, ⋯, k ϕ k, n = ϕ min + (ϕ max − ϕ min) × s k, i

(9)

여기서 n(=1,…,N)은 배열안테나의 순서를 나타내는 index, d_min과 d_max는 안테나 사이의 최소/최대 간격, a_min과 a_max는 안테나 가중치의 최소/최대 크기(amplitude), ϕ_min과 ϕ_max는 안테나 가중치의 최소/최대 위상(phase), u, v, s는 모두 0과 1 사이의 독립적인 균일 분포(uniform distribution)를 가지는 무작위(random) 수이다.

식 (9)를 통해 생성된 K개의 모든 안테나 간격과 가중치에 대해서 비용 함수식 (2)를 계산하고 그중에서 best solution을 저장한다.

4-2 업데이트 단계

위와 같이 초깃값 설정 단계가 끝나면 업데이트 단계로 넘어가 다음과 같은 과정을 반복한다. 먼저 아래 식을 이용하여 K개의 하위 환경(sub-environement)을 생성한다.

d K + k, n = ∑ i = 1 n (d b e s t, i − d b e s t, i − 1 + (d max − d min) × (2 u k + k, i − 1) β t) a k + k, n = a b e s t, i + (a max − a min) × (2 v k + k, i − 1) β t ϕ k + k, n = ϕ b e s t, i + (ϕ max − ϕ min) × (2 s k + k, i − 1) β t

(10)

여기서 d_best,i, a_best,i, ϕ_best,i는 각각 i번째 안테나 배열, 가중치의 크기와 위상을 나타내고, β는 search space reducing factor로 시간이 지남에 따라 하위 환경의 구간을 줄여주는 역할을 한다.

모든 2K solution에 대해서 비용 함수식 (2)를 계산하고 K개의 최하위 solution은 제거하고 best solution을 저장한다. 그다음 상위 K개의 solution을 식 (11)을 이용하여 업데이트한다.

d k = (1 − α) × d k + α (r k, d + γ × d b e s t) a k = (1 − α) × a k + α (r k, a + γ × a b e s t) ϕ k = (1 − α) × ϕ k + α (r k, ϕ + γ × ϕ b e s t)

(11)

여기서 α는 learning rate, γ는 discounting factor이고, r은 보상(reward)으로 식 (12)와 같이 계산된다.

r k, d = d b e s t − d k d k, r k, a = a b e s t − a k a k, r k, ϕ = ϕ b e s t − ϕ k ϕ k

(12)

종료 조건 만족 시 업데이트를 중지하고 그렇지 않으면 업데이트 과정을 반복한다.

위와 같은 2단계의 과정을 거쳐 원하는 위치에 널 생성이 가능한 광대역 NUSLA의 안테나 배열과 복소 가중치를 최적화한다.

Ⅴ. 시뮬레이션 결과

본 논문에서는 특정 주파수 범위 내의 모든 주파수에서 널 생성이 가능한 광대역 NUSLA를 설계하였다. 제안 방법과 기존의 휴리스틱 최적화 알고리즘으로 설계된 광대역 NUSLA의 빔형성(beamforming) 성능을 비교하기 위해 MATLAB R2020a를 사용하였다.

본 논문에서는 시뮬레이션을 통해 제안 방법의 성능을 검증하기 위해서 제안된 MORELA의 성능과 기존의 최적화 알고리즘인 MALO(modified ant lion optimization) 알고리즘^[11]과 QPSO(quantum particle swarm optimization) 알고리즘^[15]의 성능을 비교하였다.

본 논문에서 사용된 MORELA 파라미터는 다음과 같다. 최대 반복 횟수 T는 1000, 하위 환경의 크기 K는 10, learning rate α는 0.8, search space reducing factor β는 0.99, discounting factor γ는 0.2이다. NUSLA와 빔 패턴 파라미터 설정은 표 1 및 표 2에 제시하였고, 표 1에서 λ_min은 최대 주파수에서의 파장이다. 비용 함수에서 사용되는 파라미터 w_null과 ɛ은 각각 10²과 10¹⁰으로 설정하였다.

표 1. | Table 1. NUSLA 파라미터 설정 | NUSLA parameter setting.

Number of antennas	16
Maximum frequency	1.0 GHz
Minimum frequency	0.5 GHz
The number of frequencies	10
Maximum spacing	1.5 λ_min
Minimum spacing	0.5 λ_min

Download Excel Table

표 2. | Table 2. 설계 빔 패턴 파라미터 설정 | Designed beam pattern parameter setting.

Beam width	20 deg
Side-lobe level	−20 dB
Depth of null	−30 dB
Width of null	10 deg

Download Excel Table

특정 주파수 범위 내의 모든 주파수를 사용하여 광대역 NUSLA를 설계하는 것은 무한한 주파수의 개수로 인하여 현실적으로 불가능하다. 따라서, 본 논문에서는 10개의 동작 주파수를 사용하여 광대역 NUSLA를 설계하였다. 하지만, 모든 주파수에서 성능을 확인하기 위해서 빔 패턴의 성능은 100개의 동작 주파수에 대해서 성능을 비교하였다.

본 논문에서는 간섭 신호의 개수가 3개(N_I=3)인 경우를 고려하였다. 모든 알고리즘을 100번 반복하여 얻은 빔 패턴 결과 중에서 가장 낮은 cost value를 갖는 빔 패턴을 사용하여 각 알고리즘의 성능을 비교하였다. 빔형성 성능을 비교하기 위해 배열안테나에서 많이 사용되는 HPBW(half-power beam width)와 PSLL(peak SLL)를 사용하였고, 널의 깊이가 원하는 수준을 만족하는지 확인하기 위해서 peak null을 추가로 사용하였다.

빔 조향각 θ₀가 0 deg, 간섭 신호의 수신 각도 $θ ∼ 0$ 가 30 deg, 45 deg, 60 deg일 때 시뮬레이션을 진행하였다. 그림 2∼그림 4는 각각 주파수에 따른 HPBW, PSLL, peak null에 대한 모든 알고리즘의 성능을 보여주고, 그림 5∼그림 7은 제안 방법, QPSO 알고리즘, MALO 알고리즘을 사용하여 얻은 빔 패턴을 보여준다. 그림 8은 각 알고리즘에서 얻은 안테나 배열의 형상을 보여준다. 제안 방법은 사전에 설정한 BW와 SLL에 대한 제한 조건을 만족하고, 널의 깊이와 넓이에 대한 제한 조건을 모두 안정적으로 만족하는 널을 생성하였다. 하지만 QPSO 알고리즘은 높은 SLL을 갖고 최대 주파수와 최소 주파수에서 널에 대한 제한 조건을 만족하지 못하였다. MALO 알고리즘 또한 높은 SLL를 갖고 약 0.65 GHz에서 0.85 GHz에서만 널에 대한 제한 조건을 만족하고, 남은 주파수에서는 만족하지 못하였다.

그림 2. | Fig. 2. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 HPBW 성능 비교 | Performance comparison of HPBW in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

그림 3. | Fig. 3. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 PSLL 성능 비교 | Performance comparison of PSLL in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

그림 4. | Fig. 4. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 peak null 성능 비교 | Performance comparison of peak null in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

그림 5. | Fig. 5. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 제안 방법으로 설계된 빔 패턴 | Beam pattern designed by the proposed method in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

그림 6. | Fig. 6. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 QPSO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the QPSO algorithm in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

그림 7. | Fig. 7. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 MALO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the MALO algorithm in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

그림 8. | Fig. 8. 조향각 0도와 간섭 신호의 각도 30, 45, 60도에서의 각 알고리즘에서 얻은 안테나 위치 | Antenna position obtained from each algorithm in case for θ₀=0°and

θ ∼ 0 = 30 °

, 45°, 60°.

Download Original Figure

빔 조향각 θ₀가 30 deg, 간섭 신호의 수신 각도 $θ ∼ 0$ 가 −60 deg, −30 deg, 60 deg 일 때 추가 시뮬레이션을 진행하였다. 그림 9∼그림 11은 각각 주파수에 따른 빔 패턴의 HPBW, PSLL, peak null 성능을 보여주고, 그림 12∼그림 14는 모든 알고리즘으로 얻은 빔 패턴을 보여주고, 그림 15는 각 알고리즘에서 얻은 안테나 배열 형상을 보여준다. 제안 방법은 사전에 설정한 BW와 SLL 제한 조건을 모두 만족하고 정확한 위치에 널에 대한 제한 조건을 모두 만족하는 널을 생성하였다. 하지만, QPSO 알고리즘과 MALO 알고리즘은 모두 SLL과 널에 대한 제한 조건을 모든 주파수에서 만족하지 못하였다.

그림 9. | Fig. 9. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 HPBW 성능 비교 | Performance comparison of HPBW in case for θ₀=30°and

θ ∼ 0 = − 60 °

, −30°, 60°.

Download Original Figure

그림 10. | Fig. 10. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 PSLL 성능 비교 | Performance comparison of PSLL in case for θ₀=30°and

θ ∼ 0 = − 60 °

, −30°, 60°.

Download Original Figure

그림 11. | Fig. 11. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 peak null 성능 비교 | Performance comparison of peak null in case for θ₀=30°and

θ ∼ 0 = − 60 °

, −30°, 60°.

Download Original Figure

간섭 신호가 빔 조향각에 근접해서 들어올 때 빔 패턴의 변화를 확인하기 위한 시뮬레이션을 진행하였다. 빔

그림 12. | Fig. 12. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 제안 방법으로 설계된 빔 패턴 | Beam pattern designed by the proposed method in case for θ₀=30°and

θ ∼ 0 = − 60 °

,-30°,60°.

Download Original Figure

그림 13. | Fig. 13. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 QPSO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the QPSO algorithm in case for θ₀=30°and

θ ∼ 0 = − 60 °

,-30°,60°.

Download Original Figure

그림 14. | Fig. 14. 조향각 30도와 간섭 신호의 각도 −60, −30, 60도에서의 MALO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the MALO algorithm in case for θ₀=30° and

θ ∼ 0 = − 60 °

,-30°,60°.

Download Original Figure

그림 15. | Fig. 15. 조향각 0도와 간섭 신호의 각도 −60, −30, 60도에서의 각 알고리즘에서 얻은 안테나 위치 | Antenna position obtained from each algorithm in case for θ₀=30° and

θ ∼ 0 = − 60 °

,-30°,60°.

Download Original Figure

조향각 θ₀는 0 deg, 간섭 신호의 수신 각도 $θ ∼ 0$ 는 −20 deg, 20 deg, 40 deg로 설정하였다. 그림 16∼그림 18은 각 알고리즘에서 얻은 빔 패턴의 HPBW, PSLL, peak null 성능을 보여주고, 그림 19∼그림 21은 빔 패턴 결과를 보여주고, 그림 22는 각 알고리즘에서 얻은 안테나 배열 형상을 보여준다. 제안 방법으로 얻은 빔 패턴은 원하는 위치에 널을 정확히 생성하고 안정적으로 SLL을 조절하였다. 하지만, QPSO 알고리즘은 정확한 위치에 널을 생성하였지만 고대역 주파수에서 SLL이 증가하는 문제가 발생하였다. MALO 알고리즘은 간섭 신호가 빔 조향각 주변으로 들어올 때 널 생성과 SLL 제어를 모두 실패하였다.

제안된 MORELA 방법과 기존의 QPSO 알고리즘과 MALO 알고리즘의 최적화 소요 시간을 비교하였다. 제안 방법과 MALO 알고리즘은 총 2K개의 solution vector를 사용하고 QPSO 알고리즘은 총 K개의 solution vector를 사용한다. 본 논문에서는 정확한 최적화 소요 시간과 성능을 비교하기 위해서 모든 알고리즘에서 사용한 solution vector를 동일하게 설정하였다. 제안 방법과 MALO 알고리즘은 K를 10으로 설정하여 총 20개의 solution vector를 사용하였고, QPSO 알고리즘에서는 K를 20으로 설정하여 총 20개의 solution vector를 사용하였다. 최적화 소요 시간은 100번에 대한 평균 시간을 사용하였다. 제안 방법은 평균 39.06초, QPSO 알고리즘은 37.82초, MALO 알고리즘은 52.07초가 소요되었다. 제안 방법과 QPSO 알고리즘 간의 최적화 소요 시간 차이는 약 1.24초로 QPSO 알고리

그림 16. | Fig. 16. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 HPBW 성능 비교 | Performance comparison of HPBW in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

그림 17. | Fig. 17. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 PSLL 성능 비교 | Performance comparison of PSLL in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

그림 18. | Fig. 18. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 peak null 성능 비교 | Performance comparison of peak null in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

그림 19. | Fig. 19. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 제안 방법으로 설계된 빔 패턴 | Beam pattern designed by the proposed method in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

그림 20. | Fig. 20. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 QPSO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the QPSO algorithm in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

그림 21. | Fig. 21. 조향각 0도와 간섭 신호의 각도 −20, 20, 40도에서의 MALO 알고리즘으로 설계된 빔 패턴 | Beam pattern designed by the MALO algorithm in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

즘이 빠르지만, 제안 방법이 더 효과적인 방법임을 위의 여러 시뮬레이션에서 검증하였다. 반면에 MALO 알고리즘은 최적화 소요 시간이 제안 방법보다 약 1.5배 긴 것을 확인하였다.

그림 22. | Fig. 22. 조향각 0도와 간섭 신호의 각도 −60, −30, 60도에서의 각 알고리즘에서 얻은 안테나 위치 | Antenna Position obtained from each algorithm in case for θ₀=0°and

θ ∼ 0 = − 20 °

,20°,40°.

Download Original Figure

Ⅵ. 결 론

본 논문에서는 주어진 주파수 범위 내의 모든 주파수에서 원하는 위치에 널을 생성하기 위한 광대역 NUSLA 설계 기법을 제시하였다. 광대역에서 널을 생성하기 위한 새로운 비용 함수를 제안하였고, 제안된 비용 함수를 최소화하는 최적의 안테나 배열과 가중치를 찾기 위해서 강화학습 기반의 휴리스틱 최적화 알고리즘인 MORELA를 사용하였다. 컴퓨터 시뮬레이션을 통하여 제안 방법과 기존의 휴리스틱 최적화 알고리즘의 성능을 비교하였다.

부 록

제안 방법과 기존의 휴리스틱 최적화 알고리즘으로 얻은 안테나 배열과 가중치를 각각 표 3∼표 5에 제시하였다. 조향각 θ₀가 0 deg, 간섭 신호의 수신 각도 $θ ∼ 0$ 가 30 deg, 45 deg, 60 deg인 경우를 case 1, 조향각 θ₀가 30 deg, 간섭 신호의 수신 각도 $θ ∼ 0$ 가 −60 deg, −30 deg, 60 deg인 경우를 case 2, 조향각 θ₀가 0 deg, 간섭 신호의 수신 각도 $θ ∼ 0$ 가 −20 deg, 20 deg, 40 deg인 경우를 case 3으로 한다.

표 3. | Table 3. 제안 방법으로 얻은 안테나 위치와 가중치 | Antenna position and weight obtained from the proposed method.

Case 1		Case 2		Case 3
Position (λ_min)	Weight (a ∠ ϕ)	Position (λ_min)	Weight (a ∠ ϕ)	Position (λ_min)	Weight (a ∠ ϕ)
0	0.1662∠4.7424	0	0.1071∠16.2209	0	0.1240∠28.0925
0.7124	0.2646∠24.3997	0.5959	0.1240∠18.8279	0.8717	0.1549∠26.3500
1.4745	0.3148∠28.8807	1.2340	0.1382∠21.4997	1.5922	0.2302∠24.5755
2.1316	0.2324∠35.7238	1.9171	0.1816∠30.5149	2.1518	0.1635∠37.4974
2.7083	0.3049∠20.5441	2.4495	0.2493∠4.3508	2.7251	0.3000∠21.3726
3.4207	0.4256∠23.9144	3.0808	0.2813∠13.8859	3.3662	0.3604∠37.9019
4.1221	0.3448∠29.5010	3.7337	0.3188∠28.0438	4.0770	0.4120∠23.5366
4.6468	0.2792∠26.0597	4.2731	0.3308∠9.3678	4.7117	0.3940∠35.1157
5.2574	0.4139∠30.7239	4.9016	0.3043∠14.1967	5.2615	0.3772∠30.4022
6.0305	0.4345∠30.3900	5.5278	0.3184∠17.2963	5.9592	0.4628∠29.2993
6.6916	0.3164∠40.1752	6.1170	0.3030∠11.8330	6.5805	0.3920∠34.1724
7.2872	0.2594∠27.6514	6.7189	0.2827∠5.5924	7.2513	0.3939∠31.9983
7.9704	0.3547∠26.5274	7.3603	0.2629∠17.1432	8.0121	0.3807∠31.5151
8.7254	0.3308∠38.7911	7.9584	0.2217∠16.2317	8.7806	0.2944∠36.8907
9.6716	0.2184∠24.0074	8.5794	0.1582∠28.8300	9.6629	0.2182∠26.3358
10.4121	0.1777∠44.1144	9.1850	0.1170∠39.1836	10.4881	0.1741∠38.6765

Download Excel Table

표 4. | Table 4. QPSO 알고리즘으로 얻은 안테나 위치와 가중치 | Antenna position and weight obtained from the QPSO algorithm.

Case 1		Case 2		Case 3
Position (λ_min)	Weight (a ∠ ϕ)	Position (λ_min)	Weight (a ∠ ϕ)	Position (λ_min)	Weight (a ∠ ϕ)
0	0.2702∠65.2528	0	0.3609∠51.6010	0	0.2403∠102.207
0.7050	0.5392∠99.9339	0.6586	0.4557∠130.732	1.0319	0.4250∠94.2329
1.5316	0.6763∠114.099	1.1743	0.5065∠144.631	1.9560	0.5530∠106.762
2.4752	0.6728∠104.525	2.1781	0.2271∠8.8311	2.5027	0.2401∠84.4985
3.2739	0.7052∠119.936	2.9649	0.7225∠104.905	3.0438	0.7851∠98.6651
4.2705	0.6512∠106.098	3.5518	0.7071∠112.935	3.8569	0.8978∠100.985
5.0934	0.7450∠116.957	4.2704	0.3217∠179.661	4.7492	0.9920∠92.4846
6.0005	0.7408∠109.876	5.5424	0.6719∠70.1538	5.4436	0.7267∠110.869
6.9446	0.7164∠97.8211	6.2038	0.8278∠90.6640	6.0803	0.7309∠89.5340
7.8217	0.8093∠96.3934	6.8929	0.6636∠114.361	6.6740	0.8003∠99.9979
8.6732	0.7944∠95.5838	7.4871	0.6946∠94.0662	7.4469	0.8645∠98.0949
9.4974	0.6709∠96.4878	8.1720	0.8571∠106.984	8.3659	0.7345∠96.7472
10.2170	0.5471∠97.2819	8.8134	0.7171∠107.089	9.2527	0.5268∠99.5963
10.9033	0.4317∠101.187	9.3945	0.5082∠88.4507	9.9296	0.2109∠103.980
11.6099	0.3501∠113.029	10.1073	0.6061∠119.603	10.5112	0.2761∠88.8782
12.4148	0.2309∠123.831	10.6577	0.4076∠116.884	11.3819	0.2190∠104.642

Download Excel Table

표 5. | Table 5. MALO 알고리즘으로 얻은 안테나 위치와 가중치 | Antenna position and weight obtained from the MALO algorithm.

Case 1		Case 2		Case 3
Position (λ_min)	Weight (a ∠ ϕ)	Position (λ_min)	Weight (a ∠ ϕ)	Position (λ_min)	Weight (a ∠ ϕ)
0	0.1000∠55.0389	0	0.6796∠6.0499	0	0.4615∠8.3595
0.5146	0.1000∠30.4792	0.5358	1.0000∠8.9012	1.3885	0.7683∠1.3982
1.0146	0.4439∠1.2139	1.1867	1.0000∠35.4253	2.7730	1.0000∠0.2142
1.5149	0.9997∠27.4724	1.6867	1.0000∠20.2364	4.2723	1.0000∠1.1282
2.0149	1.0000∠59.2769	2.1867	1.0000∠20.7494	5.7723	1.0000∠3.0174
2.5149	0.8965∠44.1713	2.6867	1.0000∠40.0928	7.2723	1.0000∠1.6428
3.0149	1.0000∠47.4223	3.1867	1.0000∠28.7349	8.7723	1.0000∠0.7007
3.5335	0.7574∠31.7748	3.6867	1.0000∠7.3749	10.2723	1.0000∠2.2867
4.0335	1.0000∠32.8547	4.1867	1.0000∠22.5225	11.7723	1.0000∠0.4296
4.5335	0.6858∠23.5657	4.6867	1.0000∠43.8556	13.2723	1.0000∠5.1421
5.0335	1.0000∠9.9997	5.1867	1.0000∠19.7149	14.7723	1.0000∠4.8254
5.5335	1.0000∠28.8289	5.6867	1.0000∠0.1001	16.2723	1.0000∠5.2770
6.0335	0.9130∠64.6752	6.1867	0.9557∠0.1000	17.7632	1.0000∠5.6858
6.5335	0.1000∠38.2162	6.6867	1.0000∠16.1114	19.2632	1.0000∠5.6499
7.0335	0.3789∠30.1502	7.1869	1.0000∠32.3371	20.7632	0.7460∠0.1000
7.5335	0.1000∠61.0856	7.6869	0.5808∠29.9230	22.2632	0.4635∠0.1000

Download Excel Table

Acknowledgements

This work was supported by the Agency for Defense Development by the Korean Government (UD200042ED).

References

[1].

J. Benesty, I. Cohen, and J. Chen, Fundamentals of Signal Enhancement and Array Signal Processing, Singapore, John Wiley & Sons, 2018.

[2].

B. Basu, G. Mahanti, "Fire fly and artificial bees colony algorithm for synthesis of scanned and broadside linear array antenna," Progress in Electromagnetics Research B, vol. 32, pp. 169-190, Jul. 2011.

[3].

M. Ridwan, M. Abdo, and E. Jorswieck, "Design of non-uniform antenna arrays using genetic algorithm," in 2011 IEEE 13th International Conference on Advanced Communication Technology(ICACT), Gangwon, Feb. 2011, pp. 422-427.

[4].

G. Ram, D. Mandal, R. Kar, and S. P. Ghoshal, "Optimized hyper beamforming of receiving linear antenna arrays using firefly algorithm," International Journal of Microwave and Wireless Technology, vol. 6, no. 2, pp. 181-194, Apr. 2014.

[5].

K. N. K. Bhagya Sri, and N. Venkateswara Rao, "Optimization of SLL of linear array antennas using enhanced firefly algorithm," International Journal of Engineering Research and Applications, vol. 10, no. 7, pp. 19-23, Jul. 2020.

[6].

W. Y. Yang, H. S. Lee, and S. J. Yang, "Wide beam design of a fully digital active array radar using convex optimization with only phase control," The Journal of Korean Institute of Electromagnetic Engineering and Science, vol. 30, no. 6, pp. 479-486, Jun. 2019.

[7].

H. Jung, J. Jung, and Y. Lim, "Low side-lobe beamforming antenna for earth station in motion," The Journal of Korean Institute of Electromagnetic Engineering and Science, vol. 31, no. 8, pp. 693-700, Aug. 2020.

[8].

M. M. Khodier, C. G. Christodoulou, "Linear array geometry synthesis with minimum sidelobe level and null control using particle swarm optimization," IEEE Transactions on Antennas and Propagation, vol. 53, no. 8, pp. 2674-2679, Aug. 2005.

[9].

T. V. Luyen, T. V. B. Giang, "Null-steering beamformer using bat algorithm," The Applied Computational Electromagnetics Society Journal, vol. 33, no. 1, pp. 23-29, Jan. 2018.

[10].

E. Kenane, H. Bakhti, M. Bentoumi, and F. Djahli, "A dynamic invasive weeds optimization applied to null control of linear antenna arrays with constrained DRR," Advanced Eletromagnetics, vol. 10, no. 1, pp. 52-60, Apr. 2021.

[11].

H. Pradhan, B. B. Mangaraj, and S. K. Behera, "Chebyshev-based array for beam steering and null positioning using modified ant lion optimization," International Journal of Microwave and Wireless Technologies, vol. 14, no. 2, pp. 143-157, Mar. 2022.

[12].

M. K. Khawaldeh, D. I. Abu-Al-Nadi, "Design of wideband beamforming using particle swarm optimization," in International Multi-Conference on Systems, Signal & Devices, Chemnitz, Mar. 2012, pp. 1-5.

[13].

X. Yang, S. Li, T. Long, and T. K. Sarkar, "Adaptive null broadening method in wideband beamforming for rapidly moving interference suppression," Electronics Letters, vol. 54, no. 16, pp. 1003-1005, Aug. 2018.

[14].

X. Yang, S. Li, Y. Sun, T. Long, and T. K. Sarkar, "Robust wideband adaptive beamforming with null broadening and constant beamwidth," IEEE Transactions on Antennas and Propagation, vol. 67, no. 8, pp. 5380-5389, Aug. 2019.

[15].

H. Patidar, G. K. Mahanti, and R. Muralidharan, "Quantum particle swarm optimization for synthesis of non-uniformly spaced linear arrays with broadband frequency invariant pattern," Journal of Microwaves, Optoelectronics and Electromagnetic Applications, vol. 16, no. 3, pp. 602-614, Sep. 2017.

[16].

S. Kang, S. Kim, C. Park, and W. Chung, "Design method for a wideband non-uniformly spaced linear array using the modified reinforcement learning algorithm," Sensors, vol. 22, no. 14, p. 5456, Jul. 2022.

[17].

C. Ozan, O. Baskan, and S. Haldenbilen, "A novel approach based on reinforcement learning for finding global optimum," Open Journal of Optimization, vol. 6, no. 2, pp. 65-84, Jun. 2017.