학습관성을 활용한 신경망 연결가중치 제거 방법
- 주제(키워드) 인공 신경망 , regularization
- 발행기관 아주대학교
- 지도교수 신현정
- 발행년도 2020
- 학위수여년월 2020. 2
- 학위명 석사
- 학과 및 전공 일반대학원 산업공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000029490
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
본 연구에서는 인공 신경망 학습에 유효한 연결가중치를 보존하고, 그렇지 못한 연결 가중치를 제거하는 regularization 방법을 제안하고자 한다. 제안 방법론은 Dropout과 Dropconnect의 가중치 제거 방식을 개선하여 무작위로 가중치를 제거하는 방식이 아닌 학습이 잘되는 가중치를 보존하고 학습이 부진한 연결가중치를 제거한다. 제안 방법론은 학습이 잘 이루어지는 연결가중치가 계속해서 학습이 잘되고, 그렇지 못한 연결 가중치들은 학습이 계속 부진한 현상을 관찰함을 비롯되었다. 이러한 현상을 학습관성이라고 정의하였고, 이를 활용한 신경망 연결가중치 제거 방법을 제안한다. 신경망 모델의 가중치 중 계속해서 값이 업데이트 되는 가중치를 활성 가중치, 학습이 계속 부진한 가중치를 비활성 가중치라고 정의하였다. 제안 방법론은 연결 가중치의 값 분포를 통해 비활성 가중치를 식별하여 이를 학습에서 제외하여 regularization을 수행한다. 실험을 통해 제안 방법론이 regularization 성능을 있음을 확인했고, 기존 방법론에 비해 학습 속도가 약 30% 빠름을 확인했다. 또한, 대부분의 벤치마크 데이터에서 기존 방법론에 비해 높은 분류 성능을 보이는 것을 검증했다.
more목차
1.서론 1
1.1. 인공 신경망 모델 1
1.2. 과적합 문제 2
2.기존연구 및 연구목표 4
2.1. Dropout/Dropconnect 4
2.2. 연구목표 5
3.제안 방법론 7
3,1. 배경이론: 역전파 알고리즘 7
3.2. 활성/비활성 가중치 정의 9
3.3. 비활성 가중치 식별 및 제외 11
4.실험 14
4.1. 제안방법론의 타당성 검증 14
4.2. Regulariation 성능 검증 실험 20
4.3. 성능 비교 실험 22
5.결론 33
6.참고문헌 35
