Cross-Layer Attention을 적용한 EfficientNet 기반 악성코드 유형 분류 기법
EfficientNet-based malware type classification method applying Cross-Layer Attention
- 주제(키워드) Malware Classification , Cross-Layer Attention , Efficientnet , Convolution Neural Network , Grad-CAM
- 주제(DDC) 005.8
- 발행기관 아주대학교 일반대학원
- 지도교수 곽진
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 일반대학원 사이버보안학과
- 실제URI http://www.dcollection.net/handler/ajou/000000035032
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
최근 악성코드는 다양한 난독화 및 변형 기술을 통해 지속적으로 진화하고 있으며, 기존의 서명 기반 탐지 기법만으로는 효과적인 대응이 어렵다. 이를 극복하기 위해 머신러닝 기반 탐지 기법이 활발히 연구되고 있으며, 특히 CNN을 활용한 이미지 기반 분석이 주목받고 있다. 그러나 CNN 모델은 국소적인 특징 학습에 집중하는 경향이 있어, 계층이 깊어질수록 초기 계층에서 학습된 저수준 특징이 희미해지거나 변형되는 문제가 발생한다. 이는 악성코드 이미지 분석에서 중요한 구조적 패턴이 손실될 가능성을 높이고, 정교한 난독화 기법이나 고도화된 변종 악성코드에 대한 일반화 성능 저하로 이어질 수 있다. 본 논문에서는 이러한 한계를 개선하기 위해 EfficientNet 기반의 CLA(Cross-Layer Attention)를 적용한 악성코드 이미지 분류 기법을 제안한다. 제안하는 CLA 기법은 초기 계층에서 학습된 특징을 보존하고 후반부 계층과 결합함으로써 CNN의 정보 손실 문제를 보완하고, 채널 간 정보 활용과 전역적 문맥 이해를 강화한다. 실험 결과, EfficientNet-CLA 모델은 CNN 및 ViT 계열 모델 대비 Accuracy 98.57%로 가장 우수한 성능을 보였다. 이는 제안하는 기법이 기존 모델보다 더욱 견고한 특징 학습을 가능하게 하며, 일반화 성능 또한 향상되었음을 의미한다. 또한 Grad-CAM 분석을 통해 CLA가 CNN의 전역적 특징 학습을 보완하는 역할을 수행함을 시각적으로 검증하였다.
more초록/요약
Recently, malware is continuously evolving through various obfuscation and modification techniques, and it is difficult to respond effectively with only the existing signature-based detection methods. To overcome this, machine learning-based detection methods are actively being studied, and in particular, image-based analysis using CNN is attracting attention. However, CNN models tend to focus on learning local features, and as the layer becomes deeper, low-level features learned in the early layers become blurred or modified. This increases the possibility of losing important structural patterns in malware image analysis, and can lead to a decrease in generalization performance for sophisticated obfuscation techniques or advanced variants of malware. In this paper, we propose a malware image classification method using EfficientNet-based CLA (Cross-Layer Attention) to improve these limitations. The proposed CLA method complements the information loss problem of CNN by preserving features learned in the early layers and combining them with later layers, and enhances information utilization across channels and global context understanding. Experimental results show that the EfficientNet-CLA model has the best performance with an accuracy of 98.57% compared to CNN and ViT series models. This means that the proposed method enables more robust feature learning than existing models, and generalization performance is also improved. In addition, Grad-CAM analysis visually verifies that CLA plays a complementary role in CNN's global feature learning.
more목차
제 1 장 서론 1
제 1 절 연구의 배경 및 목적 1
제 2 절 연구 범위 및 구성 4
제 2 장 관련 연구 5
제 1 절 악성코드 분석 기법 비교 5
제 2 절 이미지 기반 악성코드 분류 연구 5
1. CNN 기반 악성코드 분류 연구 5
2. ViT 기반 악성코드 분류 연구 6
제 3 절 EfficientNet 7
1. EfficientNet 개요 7
2. EfficientNet-B0 구조 8
제 3 장 제안 기법 12
제 1 절 악성코드 시각화 12
1. (Step 1) 바이너리 데이터 수집 12
2. (Step 2) 바이트 값 정수 변환 13
3. (Step 3) RGB 채널 구성 13
4. (Step 4) 이미지 생성 및 전처리 13
제 2 절 Cross-Layer Attention(CLA) 15
1. CLA 적용 대상 블록 15
2. CLA 모듈 삽입 위치 18
3. CLA 적용 방식 21
제 3 절 손실 함수 및 최적화 전략 24
제 4 장 실험 결과 분석 25
제 1 절 실험 설계 25
1. 실험 환경 25
2. 데이터셋 25
3. EfficientNet 모델 설정 26
제 2 절 실험 결과 분석 28
1. 성능 지표 28
2. 성능 측정 및 분석 30
3. Grad-CAM 분석 34
제 5 장 결론 39
참고문헌 41
ABSTRACT 45
