Resource Efficient and Model Converged Federated Learning With Pareto Optimality
- 주제(키워드) Federated learning , Edge intelligence , Cloud computing , Pareto optimality
- 주제(DDC) 004.6
- 발행기관 아주대학교
- 지도교수 고영배
- 발행년도 2022
- 학위수여년월 2022. 8
- 학위명 석사
- 학과 및 전공 일반대학원 AI융합네트워크학과
- 실제URI http://www.dcollection.net/handler/ajou/000000032122
- 본문언어 영어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
Federated Learning (FL) is an emerging distributed learning technique used to train big data across the user’s data in resource-constrained situations and to protect user’s privacy. However, There are three main issues in FL. First, the parameter server (PS) that aggregates local models trained by user’s local data is in the remote cloud. In the process of aggregating the local models, the distance from users to PS may burden the path links between the PS and high-traffic local nodes. Second, The resource limitation of the user devices is not considered. Third, PS-side links may be highly stressed if the number of participating clients is large and congested owing to the large size of the model parameters. In the present study, we propose a resource efficient FL scheme with Pareto optimality and biased-client selection by exploiting Pareto principle. Simulation results show that our proposed scheme reduces network traffics while maintaining a slightly higher accuracy than the legacy FL mechanism.
more초록/요약
본 논문은 분산 학습의 하나인 연합 학습 환경에서 글로벌 모델의 수렴성과 자원의 효율 적인 소모에 대한 방법에 대해 제안하였다. 기존의 클라이언트와 서버가 직접 통신하며 모델 파라미터를 주고 받던 방식에서, 클라이언트의 위치 기반 클러스터링을 통해 D2D 통신망을 구축하였다. 구축된 클러스터를 통해 통신 거리 기반, 중앙에 위치한 클라이언트를 리더 클 라이언트로 지정함으로써 자원의 소모가 경감되는 계층적 구조의 연합 학습 프레임워크를 구축하였다. 또한, 기존 연합 학습에서 참여 클라이언트가 무작위 선출됨에 따라 발생하는 모델의 수렴성 저하와 서버의 병목현상 유발을 클라이언트의 학습 손실 값을 기준으로 참여 시킴으로써 문제점을 개선한다. 마지막으로, 연합 학습에서 모델의 수렴성과 자원의 소모는 trade-off 딜레마를 클라이언트의 자원과 손실 값을 통해 타원 함수 형태의 파레토 최적화 계산을 통해 합리적인 클라이언트 선택하는 효율적인 방안을 제시한다.
more목차
1 Introduction 1
2 Related Works 5
3 Preliminaries 8
3.1 Federated Learning 8
3.2 Pareto Optimality 9
4 System Model 10
5 Federated Learning with Pareto Optimality 13
5.1 Convergence Analysis 13
5.2 Problem Formulation 14
5.3 Proposed Algorithm 14
6 Performance Evaluation 17
6.1 Simulation settings 17
6.2 Simulation results 18
7 Conclusion 25
7.1 Conclusion 25
8 Bibliography 26
