예측된 심층 특징점 정보를 이용하는 얼굴 흐릿함 제거 기법
- 주제(키워드) 딥러닝 , 얼굴디블러링
- 주제(DDC) 621.381
- 발행기관 아주대학교
- 지도교수 허용석
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 석사
- 학과 및 전공 일반대학원 전자공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000031421
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
최근 얼굴 흐릿함 제거 방법들은 얼굴 랜드 마크 및 얼굴의 의미론적 영역 분할 지도와 같은 얼굴의 구조적인 정보를 활용하는 것에 초점이 맞추어져 있다. 하지만 이러한 사전 정보들은 얼굴의 구조적인 정보를 효과적으로 제공 할 수 있지만, 얼굴 흐릿함 제거 문제를 해결하는데 중요한 단서가 되는 국부적인 질감 세부 정보를 제공하기에는 충분하지 않다. 이와 같은 문제를 해결하기 위하여, 우리는 선명한 얼굴 영상에 대하여 풍부한 정보를 담고 있는 얼굴 인식 목적으로 사전에 학습된 네트워크의 심층 특징점들(deep features)을 얼굴 흐릿함 제거를 위한 사전정보로 정의한다. 따라서, 본 논문은 적대적 생성 신경망(Generative Adversarial Network, GAN)의 도움을 받아 흐릿한 얼굴 영상에서 심층 특징점을 예측 및 예측된 심층 특징점을 사전정보로 활용하여 얼굴의 세부적인 정보를 복원하는 사전 심층 특징점 지도 네트워크인 DFPGnet(Deep Feature Guided network)을 제안한다. 구체적으로, 생성자(generator)는 사전 정보 예측을 목표로 하는 스트림과 예측된 사전 정보를 활용하여 디블러링을 수행하는 스트림, 총 두 가지 스트림으로 이루어져 있다. 사전 정보를 예측을 위한 스트림을 통해서 나온 예측된 심층 특징점들은 얼굴 흐릿함 제거가 아닌 얼굴 인식을 위한 특징점들을 닮도록 학습되었기 때문에, 두개의 스트림 사이에 특징점의 분포 차이를 완화해야 한다. 따라서, 우리는 두 스트림이 연결된 지점에 특징점 변환 모듈을 배치할 것을 제안한다. 뿐만 아니라, 우리는 채널 집중 특징점 식별자(channel-attention feature discriminator)를 제안한다. 이는 생성자(generator)가 학습 과정 동안 사전 심층 특징점 사이에 흐릿함 제거에 있어서 더 중요한 채널에 집중하도록 도와준다. 다양한 데이터셋 및 평가지표를 통하여 평가한 결과, 제안하는 기법이 질적 및 양적으로 기존기법보다 우수한 성능을 달성한다는 것을 알 수 있다.
more