Q-learning based Light-weight Routing Protocol in UAV Relay Networks
중계용 UAV 네트워크에서 경량화된 Q-learning 기반 라우팅 기법
- 주제(키워드) UAV 중계 네트워크 , 라우팅 , Q-learning
- 발행기관 아주대학교
- 지도교수 고영배
- 발행년도 2020
- 학위수여년월 2020. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000030351
- 본문언어 영어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
FANETs are composed of UAVs with high mobility, resulting in a rapid change of network topology. To increase the stability of a dynamic network, the researchers have improved a network performance by using 1) a method of setting the optimal routing metrics and 2) a method of predicting the topology change by applying a location prediction technique. However, a network control overhead to maintain a routing table still exists. It not only degrades the performance of the network, but also consumes a resources of UAVs, resulting in a problem that reduces a network lifetime. This problem leads to QoS degradation of real-time data in UAV relay network. In this paper, we propose a Q-learning based light-weight routing protocol that shows optimal network performance with low overhead. The Q learning, reinforcement learning, is a great way to find the optimal path because it can adapt to dynamic situations. The proposed scheme performs 1) a Q-learning based routing with light-weight routing metrics and 2) a caching of non-real-time data depending on network conditions to guarantee a QoS of real-time data. To lower the control overhead, The proposed scheme regulates the hello interval according to local network condition. As a result, the proposed scheme improves the network performance by reducing network overhead and improves QoS of real-time data by caching non-real-time data.
more초록/요약
FANETs은 네트워크를 구성하고 있는 UAVs의 빠른 이동성으로 인해 네트워크 토폴로지가 급변한다는 성질을 가지고 있다. 기존 연구들은 네트워크의 안정성을 높이기 위해 최적의 라우팅 메트릭을 설정하는 방법을 사용하거나 노드의 위치 예측 기술을 적용하여 토폴로지 변화를 예측하는 방법을 사용하여 네트워크 성능을 향상시켜왔다. 하지만 기존의 방법들은 최적 경로를 유지하기위해 발생하는 네트워크 제어 오버헤드가 발생한다. 제어 오버헤드는 네트워크 성능을 저하시킬뿐만 아니라 한정적인 자원을 가진 UAVs의 자원 소모를 높이기 때문에 네트워크 수명이 줄어드는 문제가 발생한다. 이 문제는 UAV 중계 네트워크에서 실시간 데이터의 QoS 저하로 이어질 수 있다. 본 논문은 낮은 오버헤드를 발생시키며 네트워크 성능을 높이는 Q learning 기반의 경량화된 라우팅 프로토콜을 제안한다. Q-learning 기법은 학습에 필요한 자원이 적게 필요한 강화 학습 기법중 하나이며, 동적인 상황에 적응할 수 있기 때문에 최적의 경로를 찾는데 사용된다. 본 논문에서 제안하는 라우팅 프로토콜은 1) 경량화된 라우팅 메트릭을 사용하여 Q-learning 기반 라우팅을 수행하고, 2) 실시간 데이터의 QoS를 보장하기 위해 네트워크 상황이 불안정할 때 비실시간 데이터를 캐싱한다. 또한, 제안하는 라우팅 프로토콜은 제어 오버 헤드를 낮추기 위해 네트워크 상황에 따라 hello 메시지의 주기를 조정한다. 결과적으로 Q learning 기반의 라우팅 프로토콜은 낮은 오버헤드로 인해 네트워크 성능이 향상되고, 실시간 데이터의 딜레이가 줄어드는 장점을 갖는다.
more목차
1. Introduction 1
2. Related Works 5
2.1 Routing protocols in FANETs 5
2.2 Q-learning based routing protocols 7
2.3 Caching for routing protocols in FANETs 9
3. Q-learning based Light-weight Routing Protocol for UAV Relay Networks 11
3.1 Routing metrics 13
3.1.1 Delay metric 14
3.1.2 link-state metric 15
3.2 Q-learning model in QLR 16
3.2.1 Q-learning operation 17
3.2.2 Efficient exploration and exploitation 18
3.2.3 Adaptive Q-learning parameters 18
3.3 Adaptive hello message 19
3.4 Routing decision 21
4. Performance Evaluation 23
4.1 Simulation Environment 23
4.2 Simulation Results 24
5. Conclusion 31
6. References 32
