다중 지식증류 기법을 이용한 영상 분류를 위한 정규화 기법 연구
Regularization Method for Image Classification Using Multiple Knowledge Distillation
- 주제(키워드) 지식증류 , 정규화 , 이미지 분류
- 주제(DDC) 621
- 발행기관 아주대학교 IT융합대학원
- 지도교수 허용석
- 발행년도 2024
- 학위수여년월 2024. 2
- 학위명 석사
- 학과 및 전공 IT융합대학원 IT융합공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000033575
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
Convolution Neural Network(CNN)가 발전함에 따라서 Classification, Segmentation, Object Detection과 같은 다양한 컴퓨터 비전 task에서 놀랍도록 높은 성능을 보이고 있다. 그러나 높은 성능에 비례하여 방대한 학습 파라미터로 인해 고성능 컴퓨터 자원과 장시간의 딥러닝 추론 시간이 요구된다. 이러한 딥러닝의 고질적인 문제를 해결하고자 지식증류와 같은 경량화 기법들이 활발하게 연구되고 있다. 지식증류는 교사-학생 프레임워크 기반으로 크거나 깊은 모델인 교사를 미리 학습시켜 학생이 학습하는 과정에서 교사로부터 추출한 지식을 모방하며 성능을 높이는 기법이다. 기존 지식 증류 방법은 교사의 Logits을 추출하여 Temperature라는 하이퍼 파라미터를 활용하여 소프트한 클래스 확률, 즉 Dark Knowledge를 생성하여 모방하는 학습 방법이다. 그러나 기존 지식증류 방법은 여전히 과적합을 유발하고 일반화 능력이 떨어질 수 있어서 이미지 분류 작업에서 정확도를 높이는 데 있어 한계점을 드러내고 있다. 본 학위 논문에서는 기존 단일 네트워크를 적용한 자기 지식증류 방식을 확장하여, 같은 클래스에 속하는 두 개의 이미지 즉 타겟 이미지와 보조 이미지를 교사 네트워크와 학생 네트워크에 교차 학습시키도록 구성된 다중 지식증류 기법을 제안한다. 이미지 분류에 널리 사용되는 CIFAR100, CUB 200-2011 Dataset을 활용한 다양한 실험을 통해 제안한 방법을 평가하였고 Top-1 Accuracy가 향상되는 결과를 검증하였다.
more목차
1. 서론 1
2. 배경 및 관련 연구 3
2.1 지식증류 3
2.2 FitNets 4
2.3 Attention Transfer 5
2.4 Data-distortion Guided Self-distillation 5
2.5 TinyBERT 6
3. 제안하는 다중 지식증류를 이용한 정규화 기법 7
3.1 단일 네트워크를 이용한 지식증류 7
3.2 다중 네트워크를 이용한 다중 지식증류 8
3.3 단일 지식증류와 다중 지식증류의 비교 12
4. 실험 13
4.1 데이터셋 13
4.2 구현 세부사항 14
4.3 성능 평가 비교 Results 14
5. 결론 및 향후 연구 19
참고문헌 20
