검색 상세

인간-로봇 협업을 위한 물체 전달 동작에서 다중 센서 기반 초기 릴리즈 전이 시점 검출과 영상 기반 추정

Multimodal Sensor-Based Detection and Video-Based Estimation of Early Release Transition Onset During Object Transfer for Human-Robot Collaboration

  • 하지연 (아주대학교 일반대학원)

초록/요약

In HRC environments, handover is a common task where humans and robots exchange objects. For safe and natural handover, movement, grip force, and release timing must be properly controlled. In indirect handover, the receiver does not directly touch the object at the moment of release, so it is important to define when the person starts to release the object. This study focuses on early release-related onset during indirect handover. The onset was defined as the moment when a person starts to reduce hand force before placing an object on a support surface. To measure this process, sEMG, a 6-axis load cell, and video data were collected at the same time. The load cell was used to define the Load Transfer Onset （LTO）, sEMG was used to detect the EMG onset, and MediaPipe-based video features were used to detect finger and hand motion changes, called Motion onset. In addition, a 1D-CNN with and attention model was used to test whether MediaPipe-based hand features could predict the EMG-derived onset. The results showed that EMG onset occurred about 135 ms before LTO, while Motion onset was detected about 10 frames, or 170 ms, after LTO. When MediaPipe-based hand features were used to predict the EMG-derived onset, the mean absolute error（MAE） was about 5.1 frames, or 84.5 ms, and the prediction rate within ±5 frames was about 65%. These results show that video-based hand features can capture part of the release process, but they are not yet sufficient to reliably predict the early biomechanical change detected by sEMG. Therefore, this study defines release-related onset in indirect handover as an early biomechanical transition, not as the final moment when the object is fully placed or the fingers are detached. It also provides a reference label and a sensor-based analysis procedure for future video-based prediction of early release intent.

more

초록/요약

HRC 환경에서 핸드오버（handover）는 인간과 로봇이 물체를 주고받는 대표적인 상호작용 과제이며, 안전하고 자연스러운 핸드오버를 위해서는 적절한 움직임, grip force 및 release timing의 조절이 중요하다. Indirect handover는 release 순간에 상대방과 직접 접촉이 발생하지 않으므로 사람이 물체를 내려놓기 위해 손의 힘을 감소시키기 시작하는 초기 release onset을 정의하고 검출하는 방법에 대해 파악할 필요가 있다. 본 연구는 indirect handover에서 사람이 물체를 내려놓기 위해 손의 힘을 감소시키기 시작하는 초기 release-related onset을 근전도 기반 근활성 패턴 변화 시점（EMG onset）, MediaPipe 기반 손가락 움직임 변화 시점（Motion onset）으로 정의하고 각 onset 시점을 로드셀 기반 물체 하중 전달 시점（LTO） 기준으로 이들의 시간적 관계를 분석하였다. 또한 MediaPipe 기반 hand feature를 입력으로 하는 1D-CNN과 attention 모델을 적용하여 EMG-derived onset의 예측 가능성을 평가하였다. 분석 결과 EMG onset은 LTO 기준 약 135 ms 앞서 검출되며, Motion onset은 약 10 frame （약 170 ms） 이후 검출되었다. MediaPipe 기반 hand feature로 EMG-derived onset을 예측한 결과, MAE는 약 5.1 frame （약 84.5 ms）, ±5 frame 이내 예측률은 약 65%로 나타나, 영상 기반 hand feature가 release 과정을 일부 포착할 수 있으나 초기 생체역학적 변화를 안정적으로 예측하는 데 한계가 있다는 것을 보여준다. 본 연구는 indirect handover에서 release-relate onset을 초기 생체역학적 전이 시점으로 정의하고, 향후 영상 기반 early release intent를 예측 하기 위한 기준 라벨 제안 및 센서 기반 분석 절차를 제시한다.

more

목차

제 1 장 서 론 1
제 2 장 관련 연구 9
제 1 절 HRC 환경에서의 Handover 연구 9
제 2 절 Grip force 조절 및 Release timing 연구 13
제 3 장 연구 방법 16
제 1 절 연구 설계 16
1.1 연구 대상 16
1.2 실험 과제 및 동작 정의 16
1.3 사용 장비 20
1.4 실험 설계 및 절차 27
제 2 절 데이터 분석 29
2.1 데이터 전처리 29
2.2 데이터 동기화 및 trial 구간 설정 32
2.3 Release-related event 및 feature 산출 34
2.4 Event 간 시간 관계 분석 52
2.5 영상 기반 EMG-derived onset 추정 검증 53
제 4 장 연구 결과 67
제 1 절 센서별 이벤트 검출 결과 67
1.1 6축 로드셀 기반 LTO 검출 결과 67
1.2 근전도 기반 EMG onset 검출 결과 68
1.3 비디오 영상 기반 Motion onset 검출 결과 72
1.4 LTO, 근전도, Motion onset 간 상대 timing 분석 79
제 2 절 영상 기반 EMG-derived onset 추정 결과 83
2.1 EMG-derived onset 추정 결과 83
2.2 EMG-derived onset 추정 기여 hand feature 분석 86
2.3 물체 조건별 비교 88
제 5 장 토의 및 결론 90
제 1 절 연구 결과 해석 90
제 2 절 연구 한계 및 향후 연구 방향 97
참고문헌 102
Abstract 111

more
반출 Meta View 목록