자원제약 임베디드 시스템을 위한 뉴럴 네트워크 최적화 연구
- 주제(키워드) 딥러닝 , 임베디드 시스템 , 사물인터넷 , on device AI , AI
- 주제(DDC) 004.6
- 발행기관 아주대학교
- 지도교수 양회석
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 석사
- 학과 및 전공 일반대학원 AI융합네트워크학과
- 실제URI http://www.dcollection.net/handler/ajou/000000031511
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
최근 다양한 뉴럴 네트워크 응용프로그램을 사물인터넷과 같은 자원제약이 심한 임베디드 시스템에서 직접 동작시키려는 시도가 증가하고 있다. 하지만 임베디드 시스템은 연산 속도와 메모리가 매우 제한적이기 때문에 동작시킬 수 있는 뉴럴 네트워크 모델의 크기가 제약되고 실시간성을 만족하지 못 할 수 있다. 이를 위해 본 학위 논문에서는 주어진 뉴럴 네트워크 모델을 메모리와 수행시간 요구사항을 만족 할 수 있도록 자동으로 경량화하고 타겟 내장형 시스템에서 수행 가능한 코드를 자동으로 생성하는 프레임워크를 제안한다. 그 후 다수의 디바이스를 활용하여 고성능의 뉴럴 네트워크를 구동시키는 분산 뉴럴 네트워크에 대해 소개하고 통신 실패에 강인하고 통신량이 적은 분산 알고리즘을 제안한다. 제안하는 자동 경량화 프레임워크를 활용하여, 다양한 수행시간과 메모리 요구사항을 만족할 수 있도록 뉴럴 네트워크 모델을 실제 임베디드 시스템에 맞게 경량화 하였다. 또한 초해상도 이미지 복원과 객체 탐지와 같은 회귀 모델에서도 최적화를 적용하여 다양한 뉴럴 네트워크 어플리케이션에서 최적화가 효과적임을 검증하였다.
more목차
제1장. 서 론 1
제2장. 관련 연구 4
제3장. 배경 지식 7
제1절. CMSIS-NN 7
제2절. Filter pruning 9
제4장. 경량 뉴럴 네트워크 자동 생성 프레임워크 12
제1절. 자동 profiling(Auto profiling) 12
제2절. 뉴럴 네트워크 경량화(Auto network compression) 14
제3절. 자동 코드 생성(Auto code generation) 16
제5장. 실험 19
제1절. 실험 환경 19
제2절. 실험 결과 20
제1항. 메모리 제약 20
제2항. 프루닝 방식 비교 22
제3항. 탐색 방법 비교 24
제4항. 수행시간 요구사항 24
제6장. 회귀(Regression) 모델 최적화 실험 27
제1절. 초해상도 이미지 복원(Super-resolution) 최적화 27
제1항. 초해상도 이미지 복원 27
제2항. 초해상도 이미지 복원 최적화 실험 29
제2절. 객체 탐지(Object detection) 최적화 31
제1항. 객체 탐지 31
제2항. 객체 탐지 최적화 실험 34
제7장. 결론 35
참고문헌 36
Abstract 40
