1. 서론

위성영상은 특정 주기를 가지고 지표를 동일한 품질로 지속적으로 촬영하기 때문에 지구를 모니터링하는 데 효과적으 로 사용되고 있다(Zhu, 2017). 시계열적으로 제공되는 원격 탐사 자료를 통해 특정 대상에 대한 변화 탐지 및 영상 융합 (image fusion)을 정확하기 수행하기 위해서는 각 자료 사이의 상대적인 위치 정확도가 높아야 한다(Im et al., 2008). 그러나 위성영상 촬영 시, 각 영상마다 촬영 시간 및 촬영 각도, 촬영 방향에 따라 그림자 및 기복 변위가 다르게 나타나기 때문에 영상 간의 상대적인 위치 차이가 발생하게 되며, 이를 해결하기 위해서 영상 정합 과정이 반드시 선행되어야 한다(Sedaghat and Ebadi, 2015).

영상 정합은 동일 지역에 대해 서로 다른 시기와 각도에서 촬영된 영상에 대해 기하학적으로 동일한 위치에 맞춰주는 것을 의미한다(Zitova and Flusser, 2003). 일반적으로 위성영상 정합에는 영역 기반의 정합 기법(area-based image matching)과 특징 기반 정합 기법(feature-based image matching)이 수행되고 있다. 최근에는 딥러닝 모델을 통해 위성영상 정합을 수행하고 있다(Yang et al., 2018; Zhao et al., 2021). 딥러닝 기법은 다양한 영상 처리 분야에서 기존의 비딥러닝 기법을 상회하는 성능을 나타내고 있으며, 이에 따라 위성 데이터에 딥러닝을 적용한 연구 사례가 증가하고 있다(Baek and Jung, 2021). 딥러닝 기반의 매칭 기법은 영역 기반 매칭 기법과 유사한 방법으로 연산이 수행될 수 있지만, 딥러닝 모델을 통해 추출된 여러 특징들을 이용하기 때문에 특징 기반의 매칭 기법과 같이 외부 변화에도 좋은 성능을 가진다는 장점을 가져 기존 비딥러닝 알고리즘에 비해 높은 성능을 가지고 있다(Seong and Choi, 2022). 그러나 딥러닝 모델을 학습하기 위해서는 매우 많은 양의 데이터가 필요하지만 공개 위성영상 데이터의 양은 한정적이며, 상업용 위성영상의 경우 구매 비용이 높다(Ma et al., 2021).

이러한 문제를 해결하기 위해 본 연구에서는 기존에 공개된 위성영상 오픈 데이터셋을 정합 모델 학습에 알맞게 데이터셋으로 변형하고, 데이터 증강 기법을 적용하여 딥러닝 기반 광학 영상 간 정합 모델 학습을 위한 데이터셋을 구축하고자 하였다. 이를 위해 변화 탐지용으로 제작된 광학영상 오픈 데이터셋인 Satellite Side-Looking (S2Looking) 데이터셋을 취득하였다. 해당 데이터에 전처리 및 데이터 증강 기법을 적용하여 입력 데이터를 생성하였고, master와 slave 영상 사이의 X, Y 방향의 offset을 추가하여 라벨 데이터를 생성하였다.

2. 본론

2.1 연구 자료

Fig. 1은 정합용 데이터를 제작하기 위해 사용된 오픈 데이터셋의 예시를 나타낸다. 딥러닝 기반 위성 정합 모델 학습 및 평가를 위한 데이터셋을 제작하기 위해 광학영상 오픈 데이터셋인 S2Looking 데이터를 활용하였다(Shen et al., 2021). S2Looking 데이터셋은 Gaofen, SuperView, Beijing-2 위성의 영상을 통해 제작되었으며, 건물 변화 탐지를 목적으로 제작되었다. S2Looking 데이터셋의 촬영 지역은 세계 각지의 농촌 지역이며, 변화 탐지를 위해 다른 시간에 다른 각도로 촬영된 정합 영상의 쌍과 변화 탐지를 위한 라벨데이터 5,000 pair로 구성되어 있다. 각 이미지의 크기는 1,024×1,024픽셀로 구성되어 있으며, 이미지의 해상도는 0.5에서 0.8 m로 구성되어 있다. 해당 데이터셋은 정확한 변화 탐지를 수행하기 위해 scale-invariant-feature transform를 통해 주영상과 부영상 사이의 위치가 동일하게 정렬되어 있다. 위치가 정확한 주영상과 부영상으로부터 offset의 양을 시뮬레이션하기 위해 본 연구에서는 변화 전후의 위성영상 쌍을 활용하여 정합용 데이터셋을 구축하였다.

2.2 데이터셋 구축

Fig. 2는 데이터 구축의 흐름도를 나타낸다. 데이터셋 제작을 위해 master, slave 영상 쌍에 데이터 전처리 과정을 적용하고, 이를 통해 입력데이터 및 라벨데이터를 제작하였다. 데이터 개수의 증강을 위해 해당 과정을 반복하였으며, 이를 통해 딥러닝 기반 영상 정합용 데이터셋을 구축하였다.

취득한 master, slave 영상의 쌍 5,000개를 학습데이터와 평가 데이터로 겹치지 않게 8:2로 나눠주었다. 그 후, 데이터 증강을 목적으로 각 영상 쌍에 회전 및 반전을 적용해주었다. 모델 학습 과정에서 데이터의 양이 부족할 경우, 학습된 모델에 과적합(overfitting)이 발생하여 학습데이터에 대해서만 잘 설명하고, 평가 데이터나 새로 들어온 데이터(unseen data)를 잘 설명하지 못하는 문제점이 발생한다(Shorten and Khoshgoftaar, 2019). 이를 해결하고자 90, 180, 270의 회전과 상하, 좌우 반전을 랜덤하게 적용해주었다.

Fig. 3은 offset 설정 및 설정된 offset을 통한 master와 slave 패치를 제작하는 과정을 나타낸다. Master 영상과 slave 영상 사이의 X, Y 방향 offset을 설정해주었다. 각 방향에 대한 offset은 -10에서 10 사이의 offset을 랜덤하게 설정해주었다. 그 후, 1,024×1,024 master 영상에서 영상을 자르기 시작할 좌상단의 좌표를 랜덤을 설정하였고, 설정된 좌상단 좌표에 offset 양을 추가하여 slave 영상의 좌상단 좌표를 설정하였다. 설정된 좌상단 좌표를 통해 각 이미지 내에서 256×256의 크기로 패치를 잘라주었다. 패치를 자르는 과정에서 변화 탐지 라벨을 사용하여 자른 패치 내에 변화 탐지 라벨이 50% 이상 존재할 경우 해당 패치는 포함시키지 않았다. 이를 통해 영상 정합을 위한 입력데이터와 라벨데이터를 생성하였다.

이후, 패치 데이터에 대해 color augmentation을 수행하였다. Color augmentation은 데이터의 다양성 확보를 위해 이미지의 RGB 값을 조작하여 이미지의 밝기를 높이거나 낮추는 것으로, 딥러닝 기반 이미지 처리 분야에서 활발하게 사용되고 있는 데이터 증강 방법이다. 이를 적용한 후, 이미지에 3×3 크기의 커널로 가우시안 필터링을 수행하였다. 위성 영상 촬영 시 센서에 포함되는 노이즈, 원본 영상의 압축 과정에서 발생하는 노이즈, 혹은 데이터 전송 오류로 인한 노이즈 등이 다양한 무작위의 노이즈가 영상 내에 포함되게 되는데 이는 딥러닝 모델의 정확도 저하의 원인이 될 수 있다. 노이즈의 영향을 최소화하기 위해 필터링 기법을 적용해주었다. 또한, 입력데이터 값의 단위와 범위가 다를 시에도 딥러닝 모델의 성능을 저하시킬 수 있다. 따라서 값의 단위와 범위를 일정하게 맞춰주고, 영상 내 포함되어 있는 이상치를 제거하기 위해 99% 최대-최소 정규화를 수행하였다. 99% 최대-정규화의 수식은 Eq. 1과 같다. x는 각 영상의 픽셀 값을 나타내며, min(x)0.99 와 max(x)0.99 는 1%의 이상치를 제거한 후의 각 영상의 최대값과 최소값을 나타낸다.

(Eq. 1)

x=x-min0.99(x)max0.99(x)-min0.99(x)

해당 전처리 과정을 수행 시, 4,000장의 학습데이터와 1,000장의 테스트 데이터를 생성하게 된다. 이 전처리 과정을 3번 반복하여 최종적으로 12,000장의 학습데이터와 3,000장의 테스트 데이터를 생성하였다. 이를 통해 최종적으로 광학 영상 정합 모델 학습 및 평가를 위한 AI 데이터셋을 구축하였다.

3. 결과

Fig. 4는 생성된 데이터에 대한 결과를 나타낸다. 데이터셋은 각각의 master 영상 패치와 slave 영상 패치, X, Y offset으로 이루어져 있다. 해당 데이터셋은 농촌 지역의 데이터를 통해 제작되어 도심지와 농경지, 산악 지형 등 다양한 지형적 특징이 포함되어 있다. 특히, 원본 데이터가 건물 변화 탐지를 위해 제작된 데이터셋이기 때문에 건물이 포함된 영상이 주를 이룬다. 데이터 증강 기법을 통해 학습데이터 12,000장, 테스트 데이터 3,000장의 충분한 양의 데이터를 확보하였으며, 랜덤 회전 및 반전, 색상 변환, 랜덤한 위치 선정을 통해 데이터의 다양성도 확보할 수 있었다. 본 연구에서는 제작한 데이터셋을 통해 직접 모델 학습을 수행하지 않았다. 그러나 비슷한 형태의 데이터셋을 활용하여 위성영상 간 정합을 수행한 Vakalopoulou et al. (2019)의 연구를 통해 본 연구에서 구축된 데이터셋이 영상 정합 모델 학습에 있어 효과적으로 사용될 수 있다고 판단된다. 해당 데이터셋은 충분한 양과 다양성을 기반으로 딥러닝 기반 정합 모델 성능을 높이는 데 기여할 수 있을 것으로 기대된다.

4. 결론 및 토의

본 연구에서는 딥러닝 기반 광학영상 간 정합 모델 학습 및 평가를 위한 데이터셋 구축하고자 하였다. 위성영상은 동일 지역에 대해 지속적으로 영상을 촬영하기 때문에 변화 탐지 및 영상 융합 등 지구를 모니터링하는 데 효과적으로 사용되고 있으며, 이에 대한 정확도를 높이기 위해서는 반드시 영상 정합이 선행되어야 한다. 기존에는 영역 기반 정합 기법과 특징 기반 정합 기법을 활용하여 위성영상 정합을 수행하고 있었으나, 최근에는 딥러닝 기반 정합 모델을 활용하여 정합의 성능을 더욱 높이고 있다. 그러나 딥러닝 모델을 학습하기 위해서는 많은 양의 데이터가 필요하지만 공개 위성영상 데이터는 한정적이며, 상업용 위성영상의 경우 구매 비용이 높다.

이를 해결하기 위해 본 연구에서는 기존 광학 위성 오픈 데이터인 S2Looking 데이터를 취득하고 이에 전처리 및 데이터 증강 기법을 적용하여 광학위성 정합용 AI 데이터셋을 구축하였다. 제작 결과, 해당 데이터셋은 농촌 지역의 데이터를 통해 제작되어 도심지와 농경지, 산악 지형 등 다양한 지형적 특징이 포함되어 있으며, 데이터 증강을 통해 충분한 양과 다양성을 가지는 학습 및 평가 데이터를 구축할 수 있었다. 본 연구를 통해 제작된 데이터셋을 통해 광학영상 매칭 딥러닝 모델을 학습한다면 충분한 데이터의 양과 데이터의 다양성을 기반으로 높은 성능을 가지는 정합 모델을 도출할 수 있을 것으로 기대된다.

Notes

Conflict of Interest

On behalf of all authors, the corresponding author states that there is no conflict of interest.

Funding Information

This work was supported by the Agency For Defense Development by the Korean Government (UI220065WD).

Data Availability Statement

The data that support the findings of this study are available in GEO DATA at https://doi.org/10.22761/GD.2023.0048. These data were derived from the following resources available in the public domain: https://github.com/S2Looking/Dataset.

Fig. 1.

Example Satellite Side-Looking (S2Loooking) data; (A, B) matched image pairs taken at different times, (C) label for change detection.

Fig. 2.

Dataset creation flow.

Fig. 3.

Set X, Y offset and patch slicing.

Fig. 4.

Example datasets for image registration; (A, C, E, G) master image; (B, D, F, H) slave image.

References

• Baek WK, Jung HS (2021) Performance comparison of oil spill and ship classification from X-band dual-and single-polarized SAR image using support vector machine, random forest, and deep neural network. Remote Sens 13(16):3203Article
• Im J, Jensen JR, Tullis JA (2008) Object-based change detection using correlation image analysis and image segmentation. Int J Remote Sens 29(2):399–423Article
• Ma J, Jiang X, Fan A, et al (2021) Image matching from handcrafted to deep features: a survey. Int J Comput Vis 129(1):23–79ArticlePDF
• Sedaghat A, Ebadi H (2015) Very high resolution image matching based on local features and k-means clustering. Photogramm Rec 30(150):166–186Article
• Seong SK, Choi JW (2022) Image matching for orthophotos by using HRNet model. Korean J Remote Sens 38(5):597–608
• Shen L, Lu Y, Chen H, et al (2021) S2Looking: a satellite side-looking dataset for building change detection. Remote Sens 13(24):5094Article
• Shorten C, Khoshgoftaar TM (2019) A survey on image data augmentation for deep learning. J Big Data 6(1):60ArticlePDF
• Vakalopoulou M, Christodoulidis S, Sahasrabudhe M, et al (2019) Image registration of satellite imagery with deep convolutional neural networks. IGARSS 2019-2019 IEEE International Geoscience and Remote Sensing Symposium; Yokohama, Japan. 28 Jul-2 Aug 2019Article
• Yang Z, Dan T, Yang Y (2018) Multi-temporal remote sensing image registration using deep convolutional features. IEEE Access 6:3854438555Article
• Zhao X, Li H, Wang P, Jing L (2021) An image registration method using deep residual network features for multisource highresolution remote sensing images. Remote Sens 13(17):3425Article
• Zhu Z (2017) Change detection using landsat time series: a review of frequencies, preprocessing, algorithms, and applications. ISPRS J Photogramm Remote Sens 130:370–384Article
• Zitova B, Flusser J (2003) Image registration methods: a survey. Image Vis Comput 21(11):977–1000Article

Appendix

Figure & Data

References

Citations

Citations to this article as recorded by  

• Performance Comparison of Water Body Detection from Sentinel-1 SAR and Sentinel-2 Optical Imagery Using Attention U-Net Model
  Il-Hoon Choi, Eu-Ru Lee, Hyung-Sup Jung
  Korean Journal of Remote Sensing.2024; 40(5-1): 507.     CrossRef