초해상도 영상 생성을 위한 메모리 효율적인 신경망 구조 연구
Research on Memory-efficient Neural network architecture for Super-resolution image generation
- 주제(키워드) 인공지능 , 딥러닝 , super resolution , 초해상도
- 주제(DDC) 621
- 발행기관 아주대학교 IT융합대학원
- 지도교수 허용석
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 IT융합대학원 IT융합공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000033457
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
영상을 제작하고 표현해 주는 장치들이 고해상도로 높아짐에 따라서 저해상도(LR, Low-Resolution) 영상을 고해상도(HR, High-Resolution) 영상으로 확대하는 업스케일링(Upscaling) 기술이 필요하다. Bicubic interpolation과 같은 기존의 전통적인 보간 방식은 영상을 업스케일링하면서 영상 신호의 손실이 많아 화질의 저하가 많이 발생한다. 딥러닝(Deep Learning) 기법들이 진화하면서 딥러닝 기반으로 저해상도 영상을 업스케일링하여 인간의 시각적으로 선명한 고해상도 영상으로 변환해 주는 알고리즘 또는 Model을 초해상도(SR, Super-Resolution)라고 불린다. 이 초해상도 알고리즘은 의료, 방송, CCTV, 군사, 위성 등 다양한 산업의 영상 분야에서 매우 광범위하게 사용될 수 있다. 초해상도 알고리즘은 Image의 특징을 추출하기 위해 Feature map channels(FMCs)을 생성하는 Block과 생성된 FMCs을 사용하여 업스케일링하는 두 가지 Block이 있다. 기존의 알고리즘들은 FMCs를 생성하기 위한 Block에서 잘 알려진 알고리즘의 Network의 일부만을 수정하여 사용하거나 FMCs을 사용하여 업스케일링하는 Block에서는 상당히 큰 Memory 용량을 사용하고 있다. 본 논문에서는 Image의 특징을 추출하기 위해 FMCs을 생성하는 Block에서 사용할 수 있는 Advanced Memory-efficient Network(AMNET)이라는 새로운 Network를 제안한다. 초해상도 알고리즘에서 널리 사용되는 Benchmark와 DIV2K[4] Dataset에 대해서 다양한 실험을 통해 제안한 방법을 평가하였고 Memory 사용량을 감소시키면서 일부 Dataset에서 PSNR과 SSIM[6] 등의 평가 성능이 개선되는 결과를 검증하였다.
more목차
1. 서론 1
2. 관련 연구 4
3. 제안 기법 6
3.1 AM Module 6
3.2 AMNET 8
3.3 Upscaling Block 9
4.실험 결과 및 분석 10
4.1 Datasets Metrics 10
4.2 Image 비교 평가 지표 11
4.3 Training Details 13
4.4 성능 평가 비교 Results 15
4.5 Memory 사용량 비교 17
4.6 Visual Results 18
5.결론 22
참고문헌 23
Abstract 26
