슈퍼컴퓨터 작업 대기시간 예측을 위한 딥러닝 활용기법 : Predicting Queue Wait time for Supercomputer Using Deep Learning
초록/요약
최근 Social network, Mobile, IOT 등의 데이터 수집원이 다양해지고 데이터 저장 비용이 감소하여 대용량의 데이터를 저장할 수 있는 환경이 갖춰지고 있다. 또한, 이를 분석하는 방법으로 사용되는 데이터 마이닝, AI, 머신러닝 분야의 발전으로 빅데이터 처리가 좋은 성과를 보이고 있다. 이에 따라 데이터와 분석 알고리즘을 실제로 실행하는 고성능 컴퓨팅의 수요도 늘어나고 있다. 국내에서도 이러한 수요를 충족시키기 위해 KISTI, IBS 등의 연구기관에서 중대형급 시스템을 도입하였고 현재 KISTI에 도입된 슈퍼컴퓨터 5호기 시스템은 6개월 만에 CPU 점유율이 70% 선에 도달할 정도로 많은 사용자들이 이용하고 있다. 이렇게 높은 컴퓨팅 자원 수요로 인해의 컴퓨팅 시스템에서의 사용자 작업은 실행되기까지 일정 시간 스케줄러에서 대기하게 된다. 하지만 스케줄러에는 작업 대기시간을 예측하는 기능이 포함되지 않기 때문에 사용자는 자신의 작업이 제출된 시점에 작업이 실행될 때까지의 대기시간을 알 수 없다. 본 논문에서는 슈퍼컴퓨터에서의 작업 대기시간 문제를 해결하기 위해 딥러닝을 활용한 슈퍼컴퓨터 작업 대기시간 예측 모델을 제안하고 학습 및 테스트하였다. 그리고 딥러닝 예측 모델의 성능을 높이기 위한 Feature Selection 방법으로 선형 회귀분석 모델의 성능이 가장 좋은 데이터 집합을 사용하는 기법을 제시하고 테스트, 검증하였다.
more목차
1. 서 론 1
1.1 연구 배경 및 필요성 1
1.2 연구 내용 및 논문 구성 3
2. 이론적 배경 4
2.1 작업 스케줄러 4
2.2 작업 대기 시간 예측 선행연구 7
2.3 회귀분석 8
2.4 머신러닝 10
2.5 딥러닝 13
2.6 딥러닝 예측 모델 성능 향상을 위한 Feature Selection 기법 적용 선행연구 17
3. 선형회귀분석 기법이 적용된 대기시간 예측 딥러닝 기법 19
3.1 데이터 특성 19
3.2 선형회귀분석 기법 적용 및 특성 선택 22
3.3 딥러닝을 활용한 예측 모델 학습 25
4. 실험 결과 26
4.1 실험 환경 및 실험 데이터 26
4.2 딥러닝 실험 결과 28
5. 결론 35
참고문헌 36
