얕은 기능 표현 및 연결이 신경망에 미치는 영향
- 주제(키워드) 컴퓨터비전 , CNN , 딥러닝
- 주제(DDC) 006.31
- 발행기관 아주대학교
- 지도교수 유종빈
- 발행년도 2023
- 학위수여년월 2023. 8
- 학위명 석사
- 학과 및 전공 일반대학원 인공지능학과
- 실제URI http://www.dcollection.net/handler/ajou/000000032973
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
본 논문에서는 Shallow feature를 효과적으로 재사용할 수 있도록 하는 hyper-connection 기반의 아키텍처인 HSNet을 제안한다. 우리의 아키텍처는 영상인식 성능 향상과 딥 뉴럴 네트워크의 속도를 빠르게 유지하기 위해 두 가지 방법을 제안한다. 첫 번째는 in-stage hyper-connection으로 동일한 spatial size를 가지는 stage 내에서 shallow feature를 재사용하는 방법이다. 제안하는 방법은 stage level에서 shallow feature를 재사용하여 gradient flow를 풍부하게 해주는 장점이 있으며, 성능 증가를 이끌어 낸다. 이 방법을 통해 매개변수를 줄이고 속도를 향상시킴과 동시에 인식 성능도 향상 시킨다. 두 번째로 제안하는 방법은 hierarchical multi-path의 shallow feature를 사용하여 아키텍처의 width를 늘리는 out-stage hyper-connection 방법이다. 마지막 stage의 출력 인 deep feature와 이전 stage 들의 shallow feature를 연결함으로써 width를 확장한다. 이러한 구조의 우리 네트워크는 각 path가 매우 얕은 레이어로 구성되더라도 매우 빠르고 우수한 성능을 보여주며 이는 우리의 hyper-connection에 의해 shallow feature가 deep feature와 함께 반복적으로 결합되며 네트워크 전체에서 feature들이 중복 없이 재사용되기 때문이다. 기존의 ResNet과 DenseNet 같은 네트워크 들이 block 레벨에서의 feature간 연결을 다루었다면 우리는 그것을 넘어서 stage 레벨과 네트워크 전체 레벨에서의 연결을 고려한 것이다. 제안된 네트워크는 ImageNet-1k 검증 세트에서 81.2%의 top-1 정확도와 3671 img/sec의 처리량을 달성했다. 이것은 Swin-T의 81.3%의 top-1 정확도와 비슷하고 Swin-T의 처리량인 1632 img/sec보다 2배 이상 빠르다.
more목차
제 1 장 서론 1
제 1 절 연구 배경 및 목적 1
제 2 절 연구의 구성 3
제 2 장 Shallow Feature 4
제 1 절 Shallow Feature 재사용 4
제 2 절 모델 Scaling 과 Shallow Feature 재사용 6
제 3 절 DownTask 와 Shallow Feature 재사용 8
제 3 장 제안하는 Shallow feature 재사용 방법 9
제 1 절 in-stage hyper-connection 9
제 2 절 out-stage hyper-connection 12
제 4 장 제안하는 Shallow feature 재사용 방법 성능 15
제 1 절 실험 환경 15
제 2 절 디자인 실험 결과 17
1) in-stage hyper-connection 실험 결과 17
2) out-stage hyper-connection 실험 결과 17
제 3 절 실험 결과 18
1) Classification 실험 결과 18
2) Detection 실험 결과 19
3) Semantic Segmentation 실험 결과 21
제 5 장 결 론 22
참고문헌 23
Abstract 27
