드론 분류를 위해 적응적으로 자원을 할당하는 전이학습 기반 멀티모달 딥러닝 기법
Transfer Learning based Multimodal Deep Learning with Adaptive Resource Allocation for Drone Classification
초록/요약
드론 탐지에 대해 딥러닝과 같은 기계학습 기술을 사용하여 탐지 및 분류의 정확도를 높이고자 하는 연구들이 활발히 진행되고 있으나, 모델 개발에 사용할 수 있는 데이터셋이 제한되는 문제 및 운용 시나리오가 다양하여 다양한 모델을 빠르게 생성하는 것이 필요한 점 등의 도전과제들이 있다. 본 논문에서는 데이터 부족과 이에 따른 over-fitting 문제를 해결하기 위해 전이학습 방법을 사용하고, 탐지 분류의 정확도를 높이는 방법으로 multi-model deep learning 방법을 사용하여 모델을 개발하는 방법론을 제시한다. 본 방법론에서는 각 modality 별로 학습에 필요한 자원요구조건이 다르며 이에 따라 학습 종료 시간이 달라 전체적인 학습 시간이 길어지는 문제를 해결하기 위해, 전이학습 시 fine-tuning되는 부분의 파라미터 수와 target domain data 수를 기반으로 적응적으로 자원을 할당하는 새로운 자원 할당 알고리즘이 사용되었다. 제안 기법의 효과를 검증하기 위해 수행된 실험에서 본 제안기법의 탐지 성능과 average ensemble 기법 그리고 ResNet-50, CRNN 단일 모델 기반의 탐지 성능을 비교하였으며, 본 제안 기법의 성능이 가장 우수함을 확인하였다.
more초록/요약
Recently, there has been a lot of research that use deep learning method to enhance the accuracy of drone detection. However, the use of deep learning method for drone detection is still limited because 1) there is only limited public datasets for model training, and 2) it is required to produce many models to cope with various scenarios. In this study, we propose a novel scheme to build a machine-learning model to address the limitations. In the proposed scheme, transfer learning and ensemble learning are combined to address the lack of data problem as well as to enhance the accuracy. Also, we develop a novel adaptive resource allocation algorithm to address the varying resource requirement of multi-modality issues. We conduct empirical experiments to verify the effectiveness of our proposed scheme, and we verify that our proposed scheme outperformed single model approaches (ResNet-50 and CRNN) and another ensemble method (average).
more목차
제 1 장 서론 1
제 1 절 연구 동기 1
제 2 절 연구 내용 및 논문 구성 4
제 2 장 Background 및 관련연구 6
제 1 절 Background 6
1. Dataset의 규모가 작을 시 모델 훈련 6
2. Multimodal Deep Learning 11
제 2 절 관련연구 17
1. Transfer Learning 17
2. Multimodal Deep Learning 17
3. 프로세서 스케줄링 기법 18
4. 드론 탐지/분류 및 기타 분야 응용 사례 19
제 3 장 드론 분류를 위해 적응적으로 자원을 할당하는 전이학습 기반 멀티모달 딥러닝 기법 23
제 1 절 Transfer Learning 기반 Multimodal Deep Learning 25
1. 개요 25
2. Backbone fine-tuning 26
3. Ensemble 기법(weighted sum) 적용 시 weight 선정 27
제 2 절 Adaptive Resource Allocation 28
제 4 장 실험 및 분석 31
제 1 절 Dataset 및 실험 구성 31
1. Dataset 구성 31
2. 실험 구성 33
제 2 절 성능 평가 Metrics 35
제 3 절 성능 평가 및 분석 37
제 5 장 결론 및 향후 연구 41
참고문헌 42
ABSTRACT 47
