전장 네트워크 보안을 위한 계층적 심층 강화학습 기반 협력 재밍 기법
Hierarchical Deep Reinforcement Learning-based Cooperative Jamming Method for Battlefield Networks
- 주제(키워드) 협력 재밍 , 공중-지상 통합 네트워크 , SJNR , 계층적 심층 강화학습 , 지상 재머 , UAV 재머
- 발행기관 아주대학교 일반대학원
- 지도교수 이호원
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 AI융합네트워크학과
- 실제URI http://www.dcollection.net/handler/ajou/000000034378
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
최근 다양한 사물 인터넷(IoT: Internet of Things) 기기가 곳곳에 설치되고, 이러한 기기들은 무선 통신망을 통해 연결되고 있다. 특히, 가장 유망한 IoT 디바이스 중 하나인 UAV(Unmanned Aerial Vehicle)는 유연한 3차원 이동성으로 인해 전장 환경에 특화된 사물 인터넷(IoBT: Internet of Battlefield Things) 네트워크에서 활발히 사용될 것으로 예상된다. UAV의 성능이 향상됨에 따라 이를 활용하여 공중으로 적의 영역에 침투하여 정찰 및 공격 임무를 수행한다. 이러한 UAV에 대응하기 위해 다양한 대공(anti-aircraft) 시스템에 관한 연구가 계속되고 있다. Ground-to-Air(G2A) 및 Air-to-Air(A2A)의 무선 통신 재머(Jammer)는 전장에서 적군이 수신하는 데이터 및 제어 신호를 재밍(Jamming)하여 임무 수행을 방해하는 시스템 중 하나로, 전자전이 활발한 현대 전장에서 핵심 대공 시스템으로 다뤄 진다. 본 연구에서는 전장 네트워크 보안을 위한 계층적 심층 강화학습 기반 협력 재밍 기법(Hierarchical Deep Reinforcement Learning-based Cooperative Jamming, HDRL-CJ)과 추정된 Jamming-to-Noise Ratio(JNR)를 기반으로 하는 협력 재밍 기법(Estimated-JNR-based HDRL-CJ, EHDRL-CJ)을 제안한다. 제안된 기법은 지상 재머와 UAV 재머 두 가지 유형의 재머를 활용하며, 적 UAV에 대한 재밍 성능을 극대화하는 것을 목표로 한다. 이를 위해 지상 재머는 빔 폭을 제어하고, UAV 재머는 적 UAV를 추적하기 위한 이동 제어와 한정된 배터리 제약을 고려하는 재밍 전력제어를 수행한다. 더 나아가, UAV의 위치 추정과 방향 예측을 수행하여, 보다 현실적인 시나리오에 대한 적응성을 강화한다. 이동 제어와 재밍 전력제어를 최적화하는 UAV 재머는 계산 복잡도를 줄이기 위해 계층적 구조의 프레임워크를 활용하였다. 시뮬레이션을 통해 제안한 HDRL-CJ 기법이 완전 탐색 기법으로 얻은 최적 해에 수렴하고, EHDRL-CJ 기법이 실시간 이동성을 가진 적 UAV에 대한 최적 재밍을 수행할 수 있음을 증명했으며, 다양한 벤치마크 기법들과 재밍 성능을 비교하여 다양한 3차원 네트워크 환경에서 제안한 기법의 우수한 성능을 입증하였다. 주제어: 협력 재밍, 공중-지상 통합 네트워크, SJNR, 계층적 심층 강화학습, 지상 재머, UAV 재머
more초록/요약
The Internet of Things (IoT) is a rapidly expanding field, with devices installed in various locations and connected via wireless communication networks. In particular, unmanned aerial vehicles (UAVs), one of the most promising IoT devices, are expected to play an active role in Internet of Battlefield Things (IoBT) networks due to their flexible three-dimensional mobility, which makes them highly for battlefield environments. As the capabilities of UAVs improve, they are deployed to infiltrate enemy territory by air, performing both reconnaissance and attack missions. To counter these UAVs, ongoing research focuses on various anti-aircraft systems. Ground-to-Air (G2A) and Air-to-Air (A2A) radio communication jammers serve as key anti-aircraft systems in modern electronic warfare. These systems aim to jam data and control signals received by malicious UAVs on the battlefield, thereby disrupting their missions. In this study, we propose a hierarchical deep reinforcement learning-based cooperative jamming (HDRL-CJ) system and an estimated jamming-to-noise ratio (JNR)-based cooperative jamming (EHDRL-CJ) system to enhance the security of battlefield networks. The proposed technique employs two types of jammers, a ground jammer, and a UAV jammer, to optimize jamming performance against malicious UAVs. To achieve this, the ground jammer adjusts the beam width, while the UAV jammer performs movement control to track malicious UAVs and manages jamming power while considering limited battery constraints. Furthermore, the position estimation and direction prediction of malicious UAVs are incorporated to improve adaptability in more realistic battlefield scenarios. The UAV jammer leverages a hierarchical framework to optimize movement and jamming power control while reducing computational complexity. Simulations demonstrate that the proposed HDRL-CJ method converges on the optimal solution derived from exhaustive search methods. Additionally, the EHDRL-CJ method achieves optimal jamming against adversarial UAVs with real-time mobility. Comparative analyses with various benchmark methods validate that both algorithms demonstrate superior performance in diverse three-dimensional network environments. Keywords: Cooperative jamming, Air-ground integrated network, SJNR, Hierarchical deep reinforcement learning, Ground jammer, UAV jammer
more목차
1. 서론 1
1.1. 배경 지식 1
1.2. 연구 개요 및 목적 4
1.3. 논문 구성 5
2. 관련 연구 동향 7
2.1. 지상 재머를 활용한 재밍 기법 7
2.2. UAV 재머를 활용한 재밍 기법 9
2.3. 계층적 구조의 심층 강화학습 기법 12
3. 전장 네트워크 보안을 위한 협력 재밍 기법 16
3.1. 시스템 모델 16
3.2. 채널 모델 17
3.2.1. Ground-to-Air 채널 모델 18
3.2.2. Air-to-Air 채널 모델 19
3.2.3. 2-step 빔 패턴 모델 20
3.2.4. 수신 신호 기반 MU 위치 추정 모델 22
3.2.5. Signal-to-Jamming-plus-Noise Ratio & Jamming-to-Noise Ratio 25
3.2.6. UAV 이동 모델 26
3.3. 위치 정보 기반 계층적 구조의 심층 강화학습 프레임워크 27
3.3.1. DRL-GJ의 MDP 설계 28
3.3.2. HDRL-UJ의 MDP 설계 29
3.4. E-JNR 기반 계층적 구조의 심층 강화학습 프레임워크 31
3.4.1. EDRL-GJ의 MDP 설계 32
3.4.2. EHDRL-UJ의 MDP 설계 33
3.4.3. EDRL-UJ의 MDP 설계 34
3.5. 심층 강화학습의 Q-function update 36
4. 협력 재밍 기법의 시뮬레이션 결과 및 분석 42
4.1. 위치 정보 기반 협력 재밍 기법(HDRL-CJ)의 시뮬레이션 결과 및 분석 42
4.2. E-JNR 기반 협력 재밍 기법(EHDRL-CJ)의 시뮬레이션 결과 및 분석 58
5. 결론 67
참고문헌 68
