가상 경제 시스템의 안정성 증대를 위한 강화 학습 기법 설계
- 주제(키워드) 강화 학습 , Soft Actor-Critic , 디지털 콘텐츠 , 가상 경제
- 주제(DDC) 004.6
- 발행기관 아주대학교 일반대학원
- 지도교수 고영배
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 일반대학원 AI융합네트워크학과
- 실제URI http://www.dcollection.net/handler/ajou/000000035197
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
This paper proposes a new Reinforcement Learning (RL)-based approach to solve the instability problem and secure long-term stability within virtual economies in digital content. Virtual economies are formed through user interactions and value creation, and they are essential components of digital content such as multiplayer games and metaverse platforms. Instability in virtual economies can lead to decreased user satisfaction and content abandonment, making stability crucial for extending the content's lifespan and ensuring continuous operation. The proposed method designs an RL agent that observes key economic indicators in real-time, such as Inflation Rate, Virtual Economy Gross Product, and Item Inventory Balance. It stabilizes the virtual economy through policy interventions like Monetary Control, Transaction Fee Rate Adjustment, and Item Production Volume Adjustment. The proposed RL model utilizes a multi-objective reward function that simultaneously pursues price stability (maintaining inflation within the target range), economic growth (increasing virtual economy gross product), and market equilibrium (balancing item inventory). It also includes a policy volatility penalty to prevent abrupt changes in policy. This study compares and analyzes the simulation results with scenarios applying rule-based policies, demonstrating that the RL-based policy can effectively control the volatility of virtual economies and contribute to securing long-term stability. Ultimately, this provides important insights for building sustainable digital content ecosystems and maximizing user satisfaction.
more초록/요약
본 논문은 디지털 콘텐츠 내 가상 경제의 불안정성 문제를 해결하고 장기적인 안정성을 확보하기 위해 강화 학습 기반의 새로운 접근 방식을 제안한다. 가상 경제는 사용자들의 상호작용과 가치 창출을 통 해 형성되며, 멀티플레이 게임이나 메타버스 플랫폼과 같은 디지털 콘텐츠에 필수적으로 포함되는 요소이다. 가상 경제의 불안정성은 사용자 만족도 저하 및 콘텐츠 이탈로 이어질 수 있어, 안정성 확보가 콘텐츠의 생명력 연장과 지속적인 운영에 필수적이다. 제안 기법은 인플레이션율, 가상 경제 총 생산, 아이템 재고 균형과 같은 핵심 경제 지표들을 실시간으로 관찰하고, 통화량 조절, 경매장 수수료 조절, 아이템 생산량 조절 등의 정책적 개입을 통해 가상 경제를 안정시키는 강화 학습 에이전트를 설계한다. 제안하는 강화 학습 모델은 물가 안정 (인플레이션 목표 범위 유지), 경제 성장(가상 경제 총 생산 증가), 시 장의 균형(아이템 재고 균형)을 동시에 추구하는 다목적 보상 함수를 활용하며, 정책의 급격한 변동을 막기 위한 정책 변동성 페널티를 포함한다. 본 연구는 규칙 기반 정책이 도입된 시뮬레이션 결과와 비교 분석하여 강화 학습 기반 정책이 가상 경제의 변동성을 효과적으로 제어하고 장기적인 안정성을 확보하는 데 기여할 수 있음을 입증한다. 궁극적으로 이는 디지털 콘텐츠의 지속 가능한 생태계를 구축하고 사용자 만족도를 극대화하는 데 중요한 통찰을 제공한다.
more목차
제 1 장 서론 1
제 2 장 관련 연구 3
2.1. 경제 주체 및 환경 모델링 연구 3
2.2. 정책 결정자 모델링 연구 4
2.3. 제안 기법의 의의 4
제 3 장 제안 기법 6
3.1. 가상 경제 시뮬레이션 환경 구축 6
3.2. 강화 학습 에이전트 설계 8
3.3. 강화 학습 기반 가상 경제 시뮬레이션 13
제 4 장 성능 측정 및 검증 15
4.1. 실험 설계 및 환경 구축 15
4.2. 핵심 경제 지표 비교 분석 21
4.3. 외부 충격 반응 분석 및 강건성 평가 24
4.4. 분석 결과 요약 28
제 5 장 결론 29
참고문헌 31
ABSTRACT 32
