현실과 시뮬레이션 환경의 격차를 줄이기 위한 강화학습 기반 시스템 식별 알고리즘
- 주제(키워드) Sim2Real , Reality gap , 강화학습 , 로봇제어 , 시뮬레이션 환경
- 주제(DDC) 621.8
- 발행기관 아주대학교 일반대학원
- 지도교수 강대식
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 일반대학원 기계공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000034929
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
Sim2Real(Simulation to Reality) 학습은 실제 환경을 모사한 가상 환 경에서 학습 데이터를 생성하고 이를 실제 물리 시스템에 적용하는 방법 이다. 최근 Sim2Real은 차세대 로봇 제어 기술로 주목받고 있다. 그러나 기존의 Sim2Real 기법은 시뮬레이션과 실제 환경 간에 큰 오차가 발생 하는 한계가 있다. 본 연구에서는 강화학습 기반 시스템 식별(SIRL, System Identification using Reinforcement Learning) 알고리즘을 활용 하여 시뮬레이션 로봇의 물리 파라미터를 최적화하는 방법을 제안한다. 제안된 방법은 실제 로봇의 동작을 정밀하게 모사하는 Ultra-adaption 시뮬레이션 환경을 제공한다. 이는 특히 물리 엔진의 한계로 인해 시뮬 레이션과 현실 사이에 큰 차이가 존재하는 환경에서 효과적이다. 실제 모터의 엔드투엔드(end-to-end) 데이터셋을 기반으로, 강화학습을 통해 시뮬레이션 내 물리 파라미터를 최적화하는 알고리즘을 개발했으며, 이 를 통해 시뮬레이션 상의 관절 동작을 실제 모터와 99.56% 일치하도록 구현했다. 또한, 본 알고리즘은 높은 비선형성과 제어 속도를 요구하는 고전적 제어 문제인 회전형 도립 진자(rotary inverted pendulum)에 적 용해 그 유효성을 검증했다.
more목차
1. 서론 1
2. 본론 5
2.1. 강화학습 기반 시스템 식별 알고리즘(SIRL) 개요 5
2.2. 1자유도계에서 시스템 식별 알고리즘 적용 9
2.2.1. 1자유도 모터 시스템 모델링 9
2.2.2. 물리파라미터 정의 12
2.2.3. 시스템 식별 알고리즘이 적용된 시뮬레이션 환경 15
2.3. 2자유도계에서 시스템 식별 알고리즘 적용 21
2.3.1. 2자유도 rotary inverted pendulum 시스템 모델링 21
2.3.2. 물리파라미터 정의 25
2.3.3. 시스템 식별 알고리즘이 적용된 시뮬레이션 환경 27
2.4. 시뮬레이션 환경에서 강화학습 제어 31
2.4.1. 시뮬레이션 환경 구성 31
2.4.2. 현실 환경으로 제어기를 전이했을 때 성능 검증 34
2.5. 실험 프로토콜 및 SIRL 학습 절차 36
3. 결론 43
참고문헌 45
