Ⅰ. 서 론
우리나라는 2013년 처음으로 다목적실용위성 5호에 SAR(Synthetic Aperture Radar) 센서를 탑재하였다. 또한 2022년 발사를 계획하고 있는 다목적실용위성 6호를 비롯하여 향후 초소형 위성 체계 사업 등 SAR 센서를 탑재한 초소형 군집 위성의 개발 및 발사가 계획되어 있다. 이처럼 SAR 센서를 탑재한 위성의 수가 늘어나는 만큼 SAR 센서를 통해 획득하는 영상의 수가 많아지고, 활용 분야가 다양해지는 것을 기대할 수 있다. SAR 센서는 전자파를 지상으로 쏜 후 지상 위 객체를 맞고 되돌아오는 신호를 분석하여 영상을 구현한다는 특성을 가지고 있다. 이러한 센서 특성으로 인해 구름이나 야간에 상관없이 전천후 관측이 가능하다는 큰 장점을 가지고 있으며, 영상 내 객체의 형태를 확인할 수 있다. 하지만 광학 영상에서 얻을 수 있는 색상 정보가 부재하고, 노이즈 발생 가능성이 있으므로 숙달된 전문가가 아닌 일반 사용자는 영상 판독에 제약이 있다. 예를 들어 SAR 영상으로는 물과 땅 부분이 육안으로 비슷하게 검정색으로 나타나기 때문에 구분이 어렵다. 이러한 경우, 광학 원본 영상과 비교 등을 통한 방법으로 확인할 수 있다. 또한 SAR 영상 복원 시 나타나는 대표적인 원하지 않는 현상으로 고스트 현상과 speckle 노이즈 현상이 있다. 고스트 현상은 보낸 전자파가 물체 표면에서 비정상적으로 왜곡되어 반사가 나타나는 현상이며, speckle 노이즈는 보낸 전자파의 반사가 비정상적으로 이루어져서 평균 밝기값에서 벗어나는 현상이다. 본 논문에서는 색상 부재와 노이즈의 제한점을 극복하고자 SAR 영상의 색상화 연구를 진행하게 되었다. 이러한 SAR 영상 색상화는 이전에도 다양한 기법을 사용하여 연구가 수행되었다. 국내에서는 연세대학교와 아주대학교에서 Cycle GAN(Generative Adversarial Network) 기법을 통해 색상화 연구를 진행하였다[8], [9]. 또한 UST에서는 GAN의 학습 불안정을 해소하고자 수행된 다양한 크기의 식별자를 Cycle GAN에 적용한 MS(Multi-Scale) Cycle GAN을 통해 색상화가 수행된 적 있다. 다양한 크기의 식별자는 식별자의 크기가 크면 생성된 영상을 전반적으로 관찰하고, 크기가 작으면 세세하게 관찰한다. 해당 연구에서는 MS Cycle GAN을 통해 일반 Cycle GAN을 사용했을 때보다 학습 불안정성을 해소하였다고 발표했다(W Ku, 2018)[1], [2]. 중국에서는 SAR, 광학 농지 영상, 광학 사막 영상에 대해 mask vector값을 부여하고 Cycle GAN 학습 시, 해당 값을 부여함으로 인해 지형 특성에 맞는 학습 데이터셋을 불러와서 Cycle GAN으로 학습시키는 MC(Multidomain Cycle consistency) GAN으로 색상화 연구를 수행했다(G Ji, 2020)[5]. 본 논문에서는 앞서 설명한 것과 같이 많은 사용자가 다양한 분야에서 SAR 영상을 활용할 수 있도록 영상 판독을 용이하게 하기 위하여 SAR 영상 색상화 연구를 진행하였다. 연구에 사용된 Cycle GAN은 비지도 학습으로 unpaired 데이터셋을 사용한다. 비지도 학습은 pair되지 않는 데이터를 입력하여 비슷한 데이터끼리 군집 분류하는 학습 방법이다. Unpaired 데이터셋을 사용하는 비지도 학습은 일반적으로 지도 학습에 비해 학습 성능이 떨어지므로 주로 이미지 변환에는 pix2pix가 널리 사용되고 있다. 하지만 위성 영상을 paired 데이터셋으로 구축하기에 제한점이 있으므로 비지도 학습에 해당되는 Cycle GAN을 사용하였다. 본 연구에서는 unpaired 데이터셋을 사용하는 Cycle GAN의 장점을 이용하면서 비지도 학습의 어려움을 보완할 수 있도록 광학 영상과 pair되는 라벨링 데이터셋을 만들어서 지도 학습을 추가하였다. 본 연구 학습 데이터셋으로는 국내 광학 위성인 다목적실용위성 3호와 SAR 위성인 다목적실용위성 5호 영상을 사용하여 구축하였다[1], [5].
Ⅱ. 색상화 기법
이미지 변환에는 GAN 기법이 주로 사용되며 그중 Cycle GAN 기법 등이 널리 사용되고 있다.
GAN은 2014년에 제안된 비지도 학습 기반의 기계 학습 기법으로, 생성적 대립 신경망 혹은 적대적 생성 신경망으로 불린다. GAN은 생성자와 식별자 두 신경망이 서로 경쟁하여 예측 정확도를 높이는 개념을 가지고 있다. 생성자와 식별자가 피드백 루프로 적대적 네트워크를 형성하여 생성자는 더 높은 품질의 영상을 생성하고, 식별자는 생성자에서 생성된 fake 영상을 더 잘 식별하게 된다. 이러한 개념을 가지고 있는 GAN은 생성자가 생성하는 데이터를 학습 데이터로 활용할 수 있기 때문에, 적은 양의 학습 데이터로도 학습이 가능하다는 큰 장점이 있다. 하지만 식별자가 만족하는 소수의 데이터에 대해서만 생성하게 되는 모드 붕괴라는 제한점이 존재한다. GAN은 주로 이미지 변환에 많이 사용되며, GAN에는 Cycle GAN을 비롯하여 Star GAN, Style GAN 등 다양한 종류가 존재한다. 그중 conditional GAN에 해당하는 Cycle GAN 기법이 널리 활용되고 있다[6].
Pix2pix는 입력 도메인의 이미지를 출력 도메인의 이미지로 변환하는데 입력 도메인의 이미지와 출력 도메인의 이미지가 pair되게 데이터셋을 구축해야 한다. Paired 데이터셋을 사용하는 pix2pix는 지도학습이라는 장점이 있으나, 위성 영상으로 데이터셋을 구축할 때 pair되는 지역의 영상을 촬영하고 데이터셋으로 만들어야 하는데, 시간적, 비용적 어려움이 있다는 단점이 존재한다. Pix2pix는 pair되지 않은 데이터셋 사용 시 도메인 변환의 성능에 매우 적합하지 않기 때문에, paired 데이터셋을 구축하기 어려운 위성 영상 활용과 같은 분야에서 사용하기 어렵다. 이러한 pix2pix의 어려움을 보완하기 위해 unpaired 데이터셋으로 학습할 수 있는 Cycle GAN이 개발되었다[1], [4].
Cycle GAN은 기존의 GAN을 순환시키는 개념으로 unpaired 데이터셋을 사용한다. Cycle GAN은 생성자와 식별자를 각각 2개씩 구성하며, 그림 1에서 확인할 수 있듯이, 생성자 G는 X 이미지에서 Y 이미지를 생성하고, F는 Y 이미지에서 X 이미지를 생성해낸다. 이때 식별자는 각각 생성된 이미지와 기존 이미지의 진위 여부를 학습하게 된다. 그후 생성자 G와 F가 동시에 진행되면서 X가 Y로 또 다시 의 형태로 돌아오게 되어 최종적으로는 원본 X와 Cycle GAN으로 학습된 의 consistency loss값을 가지고 학습하게 된다. 예를 들어 광학 영상(X)을 SAR 영상(Y)으로 변환하였다가 다시 Y 영상을 광학화시키는 경우 기존의 X와 는 같은 영상이 아니므로 최대한 기존 영상과 비슷해지기 위하여 그 차이값인 loss를 학습하게 되는 것이다. 이렇게 X의 형태로 다시 돌아옴으로 인해서 GAN에서 많이 나타나는 모드 붕괴를 방지할 수 있다는 큰 장점이 있다. 모드 붕괴란 GAN 학습 시 많이 발생하는 오류로, GAN은 unpaired 데이터셋의 문제를 해결하기 위해 생성자가 데이터를 가능한 한 다양하고 폭넓게 생성해야 하는데 식별자에서 만족하는 소수의 데이터를 생성하는 것이다. Cycle GAN을 통해 X가 다시 X의 형태인 로 돌아오게 된다면 이렇게 일정 값에 수렴하는 오류 현상을 줄일 수 있게 되어 GAN의 문제점을 보완할 수 있게 된다[1],[2],[4]. 하지만 비지도 학습에 해당되기 때문에 지도학습에 비해 성능이 떨어지는 단점이 있다.
Guang Ji는 2021년 SAR 이미지의 색상화를 위한 연구를 진행했다. 해당 논문에서는 색상화를 위해 MC GAN의 기법을 활용하였으며, 해당 개념은 2개의 생성자와 2개의 식별자를 포함하는 cycle-consistent adversarial network를 기반으로 하였다. MC GAN은 수학적으로 mask vector를 정의하여 서로 다른 지역을 구별하여 색상화를 학습하는 개념을 가지고 있다. 예를 들어, 농지와 사막 지역의 광학 이미지가 있고 SAR 이미지가 있다고 가정할 때 농지의 광학 이미지는 [0,1,0], 사막의 광학 이미지는 [0,0,1]로 SAR 이미지는 [1,0,0]으로 정의한다. 그 후 농지의 SAR 이미지에 색상화를 하고자 할 때 SAR 이미지와 이 지역에 지정된 mask vector인 [0,1,0]을 생성자에 입력하면 색상화된 SAR 영상을 얻을 수 있다. MC GAN은 이와 같이 mask vector를 사용함으로 인해 지도 학습을 가능할 수 있도록 한다는 장점이 있으나, 조건을 잘못 부여할 경우 정확도에 문제가 생긴다는 단점이 있다. MC GAN은 두 가지 측면에서 Cycle GAN을 개선하였다. 첫 번째로는, 앞서 설명한 바와 같이 특정 영역에 대해 제공되는 명시적으로 알려진 라벨에 초점을 맞출 수 있도록 mask vector를 설계하고, 두 번째로는, 도메인 분류의 정확도를 최적화하고자 다중 도메인 분류 loss를 설계하였다. 이러한 결과로 해당 논문에서는 기존에 색상화에 사용되었던 pix2pix, Cycle GAN보다 성능이 향상된 색상화 결과를 얻게 되었다고 발표하였다[5]. 그림 2에서 빨간 원으로 표시된 부분에서 그림 2(b) 광학 영상 내의 물 부분을 그림 2(e) MC GAN에서 가장 잘 표현한 것을 볼 수 있다[5].
Ⅲ. 라벨링
본 연구에서는 앞서 설명한 SAR, 광학-농지, 광학-사막 영상에 대해 지형 특성별로 mask vector값을 정하여 Cycle GAN 학습 시 적용하는 MC GAN과 다르게, 영상 내 객체에 대하여 클래스를 정의하여 라벨링 데이터셋을 구축하였다. 라벨링 데이터셋은 광학 영상을 기반으로 수동으로 구축하였으며, labelme라는 오프라인 툴을 사용하였다. Labelme는 파이썬 3.6 버전과 labelme 3.22.2 버전을 사용하여 환경을 구축한 후, 광학 영상 내 객체를 육안으로 확인하여 라벨링을 수행하였다. 라벨링 데이터셋은 6,000× 6,000 픽셀인 광학 영상에 대해 땅, 물 등 5개의 클래스를 수동으로 만들었으며, 이를 512×512 픽셀 크기로 800장을 만들어 학습 데이터셋을 구축하였다.
라벨링 구축 방법에는 수동, 자동 두 가지 방법이 있는데, 자동으로 라벨링 데이터셋을 구축하였을 경우, 그림 3과 같이 물, 건물 등의 객체가 생성되지 않는 등 객체 분류의 문제점이 있었다. 이 경우, 다시 수동으로 라벨링 가이드에 맞추어 작업을 해야 하기 때문에 본 연구에서는 라벨링 데이터셋을 수동으로 구축하였다.
수동으로 구축한 라벨링 학습 데이터셋은 그림 4와 같이 클래스별로 구분이 잘 되었다. 그림 4(a)는 광학 원본 영상을 그림 4(b)는 광학 영상과 pair되는 라벨링 데이터셋을 확인할 수 있다. 5개의 클래스로 라벨링을 수행한 광학 영상은 EO 탑재체를 탑재한 70 cm급 해상도의 다목적실용위성 3호 영상을 활용하였으며, 두바이 지역이다.
라벨링 데이터셋의 클래스는 총 5개로 땅, 물, 건물, 도로, 산림으로 정하였다. 라벨링은 수동으로 여러 명이 수행했기 때문에 일관성 확보가 필요하다. 이 때문에 라벨링을 수행한 여러 사람이 라벨링 가이드라인을 작성하였다. 작성된 가이드라인에 따라 수동으로 라벨링을 수행했으며, 그중 정확도가 높은 가이드라인으로 확정하였다. 라벨링 가이드라인의 예시로 초록, 녹색인 객체에서 돌출된 형태가 다수 존재하면 산림으로 정하였다.
Ⅳ. 실험 방법 및 결과
본 장에서는 라벨링 데이터셋을 사용한 Cycle GAN 학습 방법 및 그 결과를 설명하였다.
실험에 사용된 SAR 영상은 1 m급, 광학 영상은 70 cm 급 해상도를 가진다. SAR 영상의 색상화를 수행하기 위하여 그림 5와 같이 3개의 domain에 대한 데이터셋을 구축하였다.
위성 영상은 동일한 지역을 촬영하더라도, 두 영상의 해상도가 다르고 위성이 지나가는 pass와 촬영 tilt 등의 이유로 인해 완벽하게 pair되는 데이터셋을 구축하기 어려워 unpaired 데이터셋으로 구축하였다.
학습 데이터셋은 SAR, 광학, 라벨링 데이터셋으로 구성되었으며, SAR 영상은 한국항공우주연구원에서 운영하는 다목적실용위성 5호로 두바이 팜 주메이라 지역을 촬영한 영상을 이용하였으며, 광학 영상은 다목적실용위성 3호로 동일한 지역을 촬영한 영상을 이용하였다. 데이터셋의 개수를 늘리기 위하여 SAR, 광학 영상에 대해 512×512의 크기로 무작위 추출하였다.
본 연구에서는 라벨링 학습 데이터셋을 사용하여 Cycle GAN 기반 색상화 연구를 수행하였다. Cycle GAN은 파이썬 언어를 기반으로 파이토치 딥러닝 라이브러리를 활용하여 구현하였다. 학습 파라미터값으로 전체 학습 에폭은 300, 생성자의 resnet block은 9개, 생성자 손실과 식별자 손실을 더한 adversarial loss와 cycle consistency loss 반영 비중을 결정하는 람다값은 10으로 정의하여 진행하였다. 색상화는 그림 6과 같이 총 2단계로 진행하였다. 그림 5에 있는 3개 도메인의 데이터셋 중 먼저 SAR 원본 영상과 라벨링 데이터셋을 Cycle GAN의 학습 데이터셋으로 사용하여 model 1을 구축하였다. 이 때 결과로 SAR 영상의 라벨링화인 fake label을 획득할 수 있다. 두 번째로 라벨링 데이터셋과 광학 원본 영상을 Cycle GAN 학습 데이터셋으로 사용하여 model 2를 구축하였다. 두 개의 model 구축 후 색상화하고자 하는 SAR 원본 영상을 model 1을 통해 fake label 결과를 추출하고 fake label을 model 2에 사용하여 최종적으로 색상화된 SAR 영상을 얻는 것을 목표로 연구를 진행하였다[3].
그림 6에서 설명한 이미지 변환 시스템을 기반으로 두바이 지역의 SAR 영상을 색상화한 결과는 그림 7과 같다.
그림 7(a)인 SAR 영상을 입력하였을 때 model 1을 통해 그림 7(b)와 같이 fake label을 추출해내며, model 2를 통해 그림 7(c)와 같이 최종 목표인 fake EO 결과를 만들어낸다.
그림 8은 기존 Cycle GAN과 본 연구에서 적용한 라벨링 데이터셋을 사용한 Cycle GAN의 색상화를 비교한 결과이다. 위 그림을 보았을 때, 광학 영상 그림 8(d)에서 노란 원 영역은 땅을, 빨간 원 영역은 물을 나타낸다. 동일한 지역의 SAR 영상 그림 8(a)에서는 물과 땅의 차이가 나타나지 않으므로 우리는 이러한 객체 판독의 어려움을 보완하고자 SAR 영상 색상화 연구를 진행하였다. 라벨링 데이터셋을 사용하지 않은 Cycle GAN 결과물 그림 8(b)는 색상화는 진행되었으나 물과 땅이 구분되지 않고 모두 물처럼 나타난 것을 확인할 수 있었다. 라벨링을 사용한 Cycle GAN 결과물 그림 8(c)에서는 땅과 물이 그림 8(d)와 같이 물과 땅 부분의 구분이 된 것을 확인 할 수 있었다. 이 외에도 철제 다리, 도로에 대한 결과물이 확연하게 좋았다. 본 논문에서 제시된 연구를 통해 라벨링을 정확하게 잘하면 결과물에서 불가의 정보를 확보할 수있고, 객체를 구분할 수 있음을 알 수 있다.
Ⅴ. 결 론
태양으로 방사된 전자파를 이용하는 광학 센서와 달리 SAR 센서는 마이크로파를 사용하여 전천후 지구 관측이 가능하기 때문에, 감시 및 정찰, 재난 재해 등 다양한 분야에서 유용하게 활용이 되고 있다. SAR는 전천후 관측이 가능하다는 가장 큰 장점이 있지만 광학 영상이 아니기 때문에 일반인의 판독이 어렵고, 색상 정보가 부재하며 고스트와 speckle 노이즈가 발생한다는 특징이 있다. 본 논문에서는 이미지 변환을 통해 새로운 정보를 획득하고, SAR 영상의 단점들을 완화하고자 SAR 색상화 연구를 진행하였다. GAN은 영상 변환에서 가장 널리 사용되는 기계 학습 방법이지만 모드붕괴라는 단점이 존재하여 비지도 학습을 하는 연구에서 제한된 성능이 존재하였다[1]. 이러한 모드 붕괴 단점을 보완하기 위하여 Cycle GAN이 개발되었으며, unpaired 데이터셋을 사용하는 Cycle GAN의 한계를 극복하기 위해 땅, 물, 건물 등 총 5개의 클래스에 대해 라벨링 데이터셋을 구축하여 적용하였다. 라벨링 데이터셋을 활용하여 Cycle GAN을 학습한 색상화 연구 진행 결과, 라벨링 데이터셋을 활용하지 않은 Cycle GAN 학습 결과물에서 나타내지 못했던 물, 도로 등의 객체를 더 잘 나타냄을 확인할 수 있었다. 하지만 클래스가 많은 만큼 주어지는 정보가 많아서 fake label에서 뿌옇게 보이는 부분이 생겨났으며 fake label의 정확도가 낮은 문제점이 있었다. 정확도가 낮은 이유로는 라벨링을 객체별로 세세하고 정확하게 못하기 때문이다. 만약 대전과 같은 특정 작은 지역에 대해 라벨링을 세세하고 정확하게 수행하고, 일정한 간격으로 계속 라벨링 데이터를 업데이트한다면, 해당 지역에 대해 정확도 높은 SAR 색상화 결과를 얻는 것을 기대할 수 있을 것이다. 이와 같이 fake label의 정확도 향상을 위한 연구를 계속해서 진행하고 있다.
향후 추가할 연구로는 SAR 색상화 영상에 대한 알맞은 품질 평가 방법에 대한 연구이다. 현재 품질 평가 방법은 광학 영상 품질 평가에 주로 활용되는 MTF, SNR, radiometric resolution 등이 있다. 해당 평가 방법들은 주로 광학 영상을 평가하기 위해 기준이 정해져 있으므로 SAR 색상화 영상에는 그 기준을 적용하기 어렵다. 예를 들어, MTF의 경우 선명도를 측정하기 위하여 영상 내 흑/백으로 선명하게 나뉘는 영역을 평가하게 되는데 광학 영상에서도 이러한 영역을 획득하기 어려운 경우에는 건물 옥상과 바닥, 그림자 영역 등 구분이 가능한 지역을 지정하여 선명도를 측정하였다. SAR 색상화 영상의 경우, 그림자 영역 등을 선정하기에 어려움이 있기 때문에, 물과 땅이 선명하게 나뉘는 지역, 혹은 건물과 땅이 나뉘는 지역 등을 대상으로 하여 선명도를 측정할 수 있도록 기준을 정해야 한다.
