강화학습 기반의 에이전트를 사용한 MMORPG 환경에서의 밸런싱 지원 도구 연구
A Study on Balancing Assistant Tool Using Reinforcement Learning Agent in MMORPG Environment
초록/요약
Maintaining balance between various game elements in MMORPG environment is tough task because thousands of people interact each other simultaneously. so unpredicted bad gameplay has a change of occurring, and this kind of problem causes higher development cost and lower game quality. Game balancing is very important feature for successful development and service, but it is getting more difficult since the size of games getting bigger and providing more contents. In this paper, we present a Balancing Assistant tool based on Reinforcement Learning technique to predict an solve that kind of problem. this tool can provide a method to find the optimal path to achieve certain goals and We can find correlation between game elements through analyzing state-action table. As a prototype, we build a simplified 1 on 1 battle of MMORPG and show you how to maintain balance between game elements through experiments. We can reach better-balanced state by analyzing state-action table. And we think this system may be applied to whole game system by adding game features accumulatively. Game balancing assistant tool using reinforcement learning may make up for the week points of game balancing methods previously used, and it will be helpful for micro-balancing.
more초록/요약
MMORPG 수천명의 사용자에 의해 동시에 상호작용하는 구조를 이루고 있기 때문에 게임요소 사이의 균형을 유지하기 어렵다. 이 때문에 게임디자인 과정에서 예측하지 못한 부정적 게임플레이가 발생할수 있으며, 이는 게임의 질을 떨어뜨리고 개발 비용을 상승시키는 요인이 된다. 성공적인 서비스를 위해 게임밸런싱은 매우 중요한요소 이지만, 게일의 규모가 커지고 더 다양한컨텐츠를 제공함에 따라 게임의 균형을 유지하는 일은 더어려워지고 많은 개발비용과 시간을 요구하게 되었다. 본 논문에서는 게임 밸런싱과 관련된 문제를 디자인 과정에서 최대한 예측하고 해결하기 위한 방법으로 강화 학습기반의 가상 사용자를 통한 게임밸런싱 지원도 구를 제안한다. 이 도구를 사용하면 주어진 게임 환경에서 최적의 행동을 찾고, 행동 선택의 과정을 분석함으로써 미세 게임요소 사이의 관계를 파악 할수 있다. 이를 통해 게임요소가 의도대로 작동하는지 검증할수있는 토대가 되는 자료를 제공할수있다. 본 논문에서는 이를 검증하기 위하여 프로토 타입을 제작하고 밸런싱 과정을 실험한다. 단순화된 MMORPG의 1:1 전투를 구현하고, 강화학습에이전트가 최적행동을 학습하게하였다. 보상테이블 분석을 통해 게임요소사이의 관계를 파악하고 문제의 원인과 해결 방법을 유추하는 과정을 반복하면서 더나은 게임 밸런스를 유지할수있었다. 또한 이 프로토타입 시스템에 다른 게임 요소를 추가하면서 누적적으로 확장하는 방법으로 게임전체에 적용 가능한 밸런싱 지원 도구 시스템의 가능성을 보였다. 본 논문에서 제안한 강화학습 기반의 에이전트를 사용한 게임 밸런싱 지원 도구는 경험적 설계 방법론과 테스트 방법론의 약점을 보완하고, 게임요소 분석을 통해 미세 게임밸런싱을 지원할수있다.
more목차
Ⅰ. 서론 1
A. 연구 배경 1
B. 기존 연구 2
C. 연구 방법 및 목표 5
Ⅱ. 본론 8
A. 강화 학습 8
B. Q-Learning을 적용한 가상 사용자 구현 10
C. 실험 설계 13
D 실험 결과 14
E. 게임 밸런스 지원 도구의 확장 22
Ⅲ. 결론
