딥러닝 기반 마커리스 3D 모션캡처를 활용한 인간공학적 자세 평가 시스템 개발
Development of an Ergonomic Posture Assessment System Using Deep Learning-Based Markerless 3D Motion Capture
- 주제(키워드) Markerless Motion Capture , Deep Learning , Rapid Entire Body Assessment
- 주제(DDC) 658.5
- 발행기관 아주대학교 일반대학원
- 지도교수 정명철
- 발행년도 2026
- 학위수여년월 2026. 2
- 학위명 박사
- 학과 및 전공 일반대학원 산업공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000035982
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
In industrial workplaces, the risk of work-related musculoskeletal disorders remains a persistent concern due to repetitive movements and inappropriate working postures. To prevent these risks, ergonomic hazard assessments are still mainly conducted using qualitative methods that rely on observers’ subjective judgments. However, these methods can show low reliability and consistency depending on the evaluator’s expertise and environmental conditions, and they also have limitations for on-site application in terms of time and cost. Therefore, this study aimed to develop an automated evaluation system that calculates REBA scores using a deep learning-based markerless 3D motion capture approach and to verify its practical applicability. To select a suitable markerless 3D motion capture model for the REBA automation system, we first evaluated the representative performance of a monocular model and identified an optimal camera position, and then conducted comparative validation with a multi-view markerless 3D motion capture approach. We also examined both calibrated and non-calibrated multi-view conditions to reduce the implementation burden in real industrial settings. Finally, based on a model with relatively lower error, we applied BiLSTM time-series learning to correct residual joint angle errors and implemented an integrated pipeline that automatically computes REBA scores using the corrected joint angles. The developed REBA automation system was validated for bricklaying, assembly, and loading tasks by comparing its results with OptiTrack-based REBA outcomes and evaluations by ergonomics experts. In the OptiTrack comparison, the MUC-based REBA corrected by BiLSTM showed small and statistically non-significant differences in mean Group A, mean Group B, and mean REBA scores across all three tasks, and the relative differences generally remained within 0.32%–4.90%. Cohen’s kappa for mean metrics was mainly in the moderate to substantial range, supporting the feasibility of producing average risk levels comparable to the marker-based reference. In contrast, in the maximum-score comparison, a significant difference was observed only for the maximum Group A score in the bricklaying task(4.04%), with a moderate Cohen's kappa(0.41). Some maximum metrics in the loading task showed fair Cohen's kappa values, suggesting that task-specific variability may remain when interpreting momentary peak-risk scores. In the comparison with ergonomics experts, statistical differences varied by task and subcategory; however, the final REBA scores for the assembly and loading tasks did not show significant differences, with very small relative differences of 0.67% and 0.35%, respectively. The final REBA Cohen’s kappa for the assembly task was almost perfect(0.82), indicating stable agreement with human-based risk classification. In contrast, the bricklaying task showed significant differences in Group A and final REBA scores, with relative differences of 5.43%–6.19%, implying that upper-limb score sensitivity and observer-related variability may be combined in this task. This tendency is consistent with prior discussions on evaluator-driven variability and expertise effects in REBA assessments. Importantly, the significant difference in the maximum Group A score in the bricklaying task may be explained by residual errors in shoulder abduction–adduction being sensitively reflected in the REBA scoring rules, which aligns with the relatively high post-correction RMSE observed for this motion. Nevertheless, considering the small differences in mean REBA scores, substantial Cohen's kappa levels for mean metrics, and high agreement for final REBA scores in the assembly and loading tasks, the proposed system appears to have practical validity for major industrial motions. Overall, this study empirically demonstrated the potential of an end-to-end ergonomic evaluation pipeline that combines a calibration-free multi-view markerless 3D motion capture approach with BiLSTM-based correction to improve joint angle accuracy in industrial tasks and to automatically compute REBA scores using video input alone. This approach may serve as a technical foundation for large-scale on-site applications and for improving worker safety management systems in the future.
more초록/요약
산업 현장에서는 반복적 동작과 부적절한 작업 자세로 인해 근골격 계질환 위험이 지속적으로 제기되고 있으며, 이를 예방하기 위한 유해요 인조사는 여전히 관찰자 주관에 의존하는 정성적 평가 방식이 주로 활용 되고 있다. 이러한 방식은 평가자 숙련도와 환경 조건에 따라 신뢰성과 일관성이 낮아질 수 있고, 시간과 비용 측면에서도 현장 적용에 제약이 있다. 이에 본 연구는 딥러닝 기반 마커리스 3D 모션캡처를 활용하여 인 간공학적 자세 평가 도구인 REBA 점수를 자동 산출하는 평가 시스템을 개발하고, 실무 적용 가능성을 검증하고자 하였다. 본 연구는 REBA 자동화 시스템에 사용할 마커리스 3D 모션캡처 모 델 선정을 위해 단안 모델의 대표 성능과 최적 카메라 위치를 평가한 뒤, 다중 시점 기반 마커리스 3D 모션캡처와 비교 검증을 수행하였다. 또한 다중 시점 접근에서 캘리브레이션을 수행하는 조건과 수행하지 않 는 조건을 동시에 고려하여 현장 적용 부담을 최소화하는 방향을 검토하 였다. 최종적으로 오차가 상대적으로 작은 모델을 기반으로 BiLSTM 시 계열 학습을 통해 잔존 관절각 오차를 보정하였고, 보정된 관절각을 입 력으로 REBA 점수를 자동 산출하는 통합 파이프라인을 구현하였다. 개 발된 REBA 자동화 시스템은 조적, 체결, 상하차 작업을 대상으로 OptiTrack 기반 REBA 결과 및 인간공학 전문가 평가 결과와 비교하여 타당성을 검증하였다. OptiTrack 비교 결과, 본 연구의 BiLSTM으로 보정한 MUC 기반 REBA는 세 작업 모두에서 평균 그룹 A, 평균 그룹 B, 평균 REBA 점 수의 차이가 작고 통계적으로 유의하지 않았으며, 상대적 차이도 대체로 0.32%–4.90% 범위에 머물렀다. Cohen’s kappa 계수는 평균 지표에서 moderate–substantial 수준이 주로 관찰되어 마커 기반 기준과 유사한 평균 위험 수준 산출 가능성을 지지하였다. 반면 최대 점수 비교에서는 조적 작업의 최대 그룹 A에서만 OptiTrack 대비 유의한 차이(4.04%)가 관찰되었고 Cohen's kappa 계수는 moderate(0.41) 수준이었다. 상하차 작업의 최대 지표 중 일부는 Cohen's kappa가 fair 수준으로 낮게 나타 나 순간적 최대 위험 판단에는 작업 특성에 따른 변동성이 남아 있을 가 능성을 시사하였다. 인간공학 전문가 비교에서는 작업 및 하위 항목에 따라 통계적 차이 가 혼재하였으나, 최종 REBA 점수는 체결과 상하차 작업에서 유의한 차이가 없었고 상대적 차이도 각각 0.67%, 0.35%로 매우 제한적이었다. 이때 체결 작업의 최종 REBA Cohen’s kappa 계수는 almost perfect(0.82) 수준으로 사람 기준 위험 분류와의 정합성이 안정적으로 확보되었다. 반면 조적 작업은 그룹 A와 최종 REBA에서 유의한 차이가 관찰되었고 상대적 차이도 5.43%–6.19%로 나타나, 상지 기반 점수 민 감도와 관찰 기반 평가 변동성이 결합될 수 있음을 시사하였다. 이러한 경향은 선행연구에서 지적된 평가자 기반 REBA 변동성 및 숙련도 효과 와 맥락을 같이 한다. 특히 조적 작업의 최대 그룹 A 점수에서 관찰된 OptiTrack 대비 유 의차는 어깨 외–내전 각도의 잔존 오차가 점수 체계에 민감하게 반영된 결과로 해석될 수 있으며, 본 연구에서 해당 동작의 RMSE가 보정 후에 도 상대적으로 높게 남았던 현상과 연결된다. 그럼에도 평균 REBA 수 준에서의 작은 차이와 substantial 수준의 Cohen's kappa 계수, 그리고 체결·상하차 작업에서 최종 REBA의 높은 정합성을 함께 고려할 때, 본 연구 시스템은 주요 산업 동작에서 실무적 활용이 가능한 수준의 타당성 을 확보한 것으로 판단된다. 종합하면, 본 연구는 캘리브레이션 부담을 제거한 다중 시점 마커리 스 3D 모션캡처와 BiLSTM 기반 보정을 결합하여 산업 작업 관절각 정 확도를 개선하고, 영상 입력만으로 REBA 점수를 자동 산출하는 end-to-end 인간공학 평가 파이프라인의 가능성을 실증적으로 제시하였 다. 이는 향후 대규모 현장 적용과 작업자 안전 관리 체계 개선을 위한 기술적 기반이 될 수 있기를 기대한다.
more목차
제 1 장 서론 1
제 1 절 연구 배경 및 필요성 1
제 2 절 연구 목적 3
제 3 절 연구 프로세스 5
제 2 장 문헌연구 6
제 1 절 3D 모션캡처의 정확성 평가 방법에 대한 체계적 문헌연구 6
1.1 연구 목적 6
1.2 연구 방법 8
1.2.1 문헌 검색 8
1.2.2 선정 기준 8
1.3 결과 10
1.3.1 실험 동작 10
1.3.2 운동학적 변수 12
1.3.3 정확성 평가 지표 14
1.3.3.1 오차 15
1.3.3.2 통계분석 24
1.4 토의 및 결론 35
1.4.1 토의 35
1.4.2 결론 42
제 2 절 신경망 기반 마커리스 모션캡처 시스템 보정연구 43
제 3 절 인간공학적 자세 평가 자동화 연구 46
제 3 장 단안 3D 모션캡처 최적 모델 및 카메라 위치 평가 48
제 1 절 연구 목적 48
제 2 절 연구 방법 52
2.1 피실험자 52
2.2 실험장비 54
2.2.1 마커 기반 3D 모션캡처 54
2.2.2 마커리스 3D 모션캡처 57
2.3 실험설계 58
2.4 실험절차 61
2.5 데이터처리 65
2.6 통계분석 69
제 3 절 결과 70
3.1 목 70
3.2 어깨 77
3.3 팔꿈치 84
3.4 손목 89
3.5 고관절 95
3.6 무릎 102
3.7 발목 107
제 4 절 토의 및 결론 112
4.1 토의 112
4.2 결론 121
제 4 장 다중 시점 3D 모션캡처 최적 모델 평가 122
제 1 절 연구 목적 122
제 2 절 연구 방법 127
2.1 피실험자 127
2.2 실험장비 129
2.2.1 마커 기반 3D 모션캡처 129
2.2.2 마커리스 3D 모션캡처 132
2.3 실험설계 134
2.4 실험절차 135
2.5 데이터처리 138
2.6 통계분석 149
제 3 절 결과 151
3.1 조적 작업 151
3.2 체결 작업 160
3.3 상하차 작업 168
제 4 절 토의 및 결론 176
4.1 토의 176
4.2 결론 182
제 5 장 연구 방법 184
제 1 절 피실험자 184
제 2 절 실험장비 186
2.1 마커 기반 3D 모션캡처 186
2.2 마커리스 3D 모션캡처 189
제 3 절 실험설계 191
3.1 BiLSTM 평가 191
3.2 REBA 자동화 시스템 평가 192
제 4 절 실험절차 194
제 5 절 데이터처리 197
제 6 절 Bidirectional Long Short-Term Memory(BiLSTM) 205
제 7 절 REBA 자동화 시스템 208
제 8 절 통계분석 213
8.1 BiLSTM 평가 213
8.2 REBA 자동화 시스템 평가 214
제 6 장 결과 215
제 1 절 BiLSTM 평가 215
1.1 조적 작업 215
1.2 체결 작업 222
1.3 상하차 작업 229
제 2 절 REBA 자동화 시스템 평가 235
2.1 마커 기반 3D 모션캡처 시스템 비교 235
2.1.1 조적 작업 235
2.1.2 체결 작업 237
2.1.3 상하차 작업 240
2.2 인간공학 전문가 비교 242
2.2.1 조적 작업 242
2.2.2 체결 작업 243
2.2.3 상하차 작업 245
제 7 장 토의 및 결론 247
제 1 절 토의 247
제 2 절 결론 255
참고 문헌 258
Abstract 269
