Deep Deterministic Policy Gradient 기반 SDN 네트워크 부하 분산 방법
Deep Deterministic Policy Gradient-based Network Load Balancing Method for SDN
- 주제(키워드) 소프트웨어 정의 네트워킹 , DDPG , Deep Reinforcement Learning , Machine Learning , Load Balancing , Network Control
- 발행기관 아주대학교
- 지도교수 노병희
- 발행년도 2020
- 학위수여년월 2020. 8
- 학위명 석사
- 학과 및 전공 일반대학원 컴퓨터공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000030370
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
소프트웨어 정의 네트워킹(Software-Defined Networking, SDN)은 기존 네트워크 장비와 달리 컨트롤 플레인과 데이터 플레인을 분리하여 중앙 컨트롤러의 소프트웨어를 통해 네트워크를 제어할 수 있는 기술이다. 최근 딥 러닝을 비롯하여 기계학습(Machine Learning)을 이용한 기법이 발전함에 따라 SDN에 기계학습을 접목하여 지능적으로 네트워크를 관리하고자 하는 연구들이 수행되고 있다. 한편, 네트워크 트래픽을 관리하여 병목 현상(bottleneck)을 완화하고 부하를 분산시키는 것은 네트워크 분야의 오랜 연구 주제이다. 이에 따라 SDN 환경에서 기계학습 기법 중 하나인 심층 강화 학습(Deep Reinforcement Learning)을 활용하여 부하 분산을 수행하고자 하는 연구들이 있었다. 그러나 기존 연구들은 실험용의 작은 토폴로지에서만 유효하다는 문제점이 있었다. 또한 심층 강화 학습의 학습 결과에 중요한 영향을 미칠 수 있는 보상함수 설계에 대해 자세히 기술되지 않았다. 더하여 심층 강화 학습의 특성상, 학습을 함과 동시에 네트워크 라우팅 경로가 지속적으로 변화한다. 이로 인해 네트워크 루핑 발생 가능성이 있으며, 학습 중 우수하지 못한 케이스의 파라미터가 실제 네트워크에 수 없이 적용되는 문제점이 야기될 수 있다. 따라서, 본 논문에서는 SDN 환경에서 보다 실제적인 부하 분산을 위해 심층 강화 학습 알고리즘 중 Deep Deterministic Policy Gradient(DDPG)을 활용하면서 동시에 최적의 부하 분산 파라미터를 추출하여 실제 네트워크에 적용하는 방법을 제안한다.
more초록/요약
Software-Defined Networking (SDN) is a technology that can control the network through the software of the central controller by separating the control plane and the data plane unlike the existing network equipment. Recently, with the improvement of techniques using machine learning, including deep learning, studies have been conducted to intelligently manage networks by grafting machine learning to SDN. Meanwhile, managing network traffic to alleviate bottlenecks and distribute load is a long-standing research topic in the network field. Accordingly, there have been studies that attempt to perform load balancing by using Deep Reinforcement Learning, one of the machine learning techniques in the SDN environment. However, existing studies have a problem that they are effective only in small topologies for experiments. In addition, the design of the compensation function, which can have a significant effect on the learning outcome of deep reinforcement learning, has not been described in detail. Moreover, due to the nature of deep reinforcement learning, network routing path changes continuously while training. This is likely to lead to network looping, and can cause problems where parameters of poor cases during training are applied countless times to the real network. Therefore, for more practical load balancing in SDN environments, this paper proposes a method to extract optimal load balancing parameters and apply them to the real networks while utilizing Deep Deterministic Policy Gradient(DDPG) among deep reinforcement learning algorithms.
more목차
1. 서론 1
2. 연구배경 3
2.1. SDN 개요 3
2.2. 기존 SDN 부하 분산 방법 4
2.2.1. 기계학습을 이용하지 않는 부하 분산 방법 4
2.2.2. 기계학습을 이용한 부하 분산 방법 4
2.3. Deep Deterministic Policy Gradient 알고리즘과 최적 제어 문제 7
2.4. 보상 함수 설계 문제 9
3. DDPG 기반 부하 분산 방법 10
3.1. DDPG를 이용한 부하 분산 구현 10
3.1.1. 학습 프레임워크 10
3.1.2. DDPG 에이전트 11
3.1.3. 네트워킹 환경 모델링 16
3.2. 부하 분산 동작 방법 17
3.2.1. 부하 분산을 위한 DRL Signals 17
3.2.2. 부하 분산 학습 과정 18
3.2.3. 최적 제어를 위한 단계적 파라미터 추출 19
4. 실험결과 21
4.1. 실험환경 21
4.2. 성능분석 22
5. 결론 35
참고문헌 36
