검색 상세

현장 맞춤형 가상현실 합성 데이터와 도메인 적응을 활용한 모듈러 설치 작업 행동 분할

Action Segmentation for Module Installation Using Site-Specific VR Synthetic Data and Domain Adaptation

  • 반지윤 (아주대학교 일반대학원)

초록/요약

본 논문은 모듈러 설치 작업에서 다중 주체 상호작용과 작업의 시계열 구조, 시각적 특성을 모사한 Virtual Reality(VR) 합성 데이터를 활용하여 모듈러 건축 현장 설치 프로세스를 자동 분석하는 Action Segmentation 프레임워크를 제안한다. 제안된 프레임워크는 다음 세 단계로 구성된다. (1) 실제 모듈러 현장 데이터를 기반으로 현장 조건을 반영한 VR 시뮬레이션 환경 을 구축하고 확률적 시간 구조를 반영한 모듈 설치 시나리오를 통해 VR 합성 데이터를 생성 하는 단계, (2) 특징 추출기 (Feature extractor)를 통해 실제 및 VR 합성 데이터의 시공간 특징을 추출하고 Correlation Alignment(CORAL) 기반 도메인 적응을 적용해 두 도메인간 특 징 분포 차이를 완화하는 특징 추출 및 정렬 단계, (3) 정렬된 feature 시퀀스를 입력으로 Frame-Action Cross Attention Temporal (FACT) 구조를 적용해 장시간 모듈 설치 과정을 프레임단위로 분할하는 Action Segmentation단계이다. 실제 현장 데이터와 현장 맞춤형 VR 합성 데이터, 그리고 CORAL기반 도메인 적응(Domain Adaptation, DA) 적용 여부를 조합해 Real-only, VR-only, VR(DA), Hybrid(Real+VR), Hybrid (DA)의 다섯가지 학습 전략을 대상 으로 Action Segmentation 성능을 비교하였다. 그 결과, 실제 및 VR 합성 데이터를 함께 사 용하고 CORAL 기반 도메인 적응 기법을 적용한 Hybrid(DA) 전략이 정확도 0.918, F1 지표 0.889로 가장 우수한 성능을 보였다. 또한, CORAL기반 도메인 적응 기법을 적용한 VR(DA) 모델은 Accuracy 0.844로 Real-only 모델의 Accuracy 0.812 보다 높은 성능을 보였으며, 이 는 도메인 적응 기법이 적용된 VR 합성 데이터가 실제 현장 데이터를 대체할 수 있는 단독 학습 자원으로서 활용 가능성을 보여준다. 제안된 모델은 작업간 전환을 포함한 모듈러 설치 프로세스의 연속적 역동적 특성을 포착하고, 작업별 지속시간을 정량화해 사이클 타임과 같 은 생산성 지표를 자동 산출할 수 있다. 이러한 프레임워크는 향후 공정 계획, 자원 운영, 작 업자 투입 계획과 연계되어 대기 시간과 병목구간을 식별하고 원인별 대응 방안을 제시하는 의사결정 지원 모듈로 확장될 수 있으며, 공정 관리 생산성 모니터링을 위한 응용 분야의 기 반을 제공할 것이다. 주제어: 행동 분할, 현장 맞춤형 가상현실 합성 데이터, 도메인 적응, 모듈러 설치 작업, 컴퓨 터 비전

more

목차

제 1장 연구의 배경 1
제 2장 선행 연구 조사 9
2.1. 컴퓨터비전 기반 모니터링 9
2.2. 가상현실 합성 데이터 활용 13
제 3장 연구의 목적 16
제 4장 방법론 19
4.1. 데이터 수집 및 합성 데이터 생성 22
4.1.1. 가상현실 환경 구축 22
4.1.2. 가상현실 모듈러 시공 프로세스 시뮬레이션 23
4.1.3. 가상현실 최적 카메라 뷰 선정 28
4.2. 특징 추출 및 도메인 적응 30
4.2.1. 특징 추출기 30
4.2.2. 도메인 적응 기법 32
4.3. 행동 분할 34
제 5장 결과 39
제 6장 논의 45
6.1. 가상현실 데이터의 타당성과 도메인 적응 역할 45
6.2. 어블레이션 연구 52
6.3. 한계점과 향후 연구 방향 56
제 7장 결론 58
참고문헌 60
영문요약 71

more
반출 Meta View 목록