Development of a Stroke Hemiplegia Motor Function Analysis System Using Pose Estimation Libraries
포즈 추정 라이브러리를 이용한 뇌졸중 편마비 환자의 운동성 분석 시스템 개발
- 주제(키워드) Stroke , Hemiplegia , Motor Function , Human Pose Estimation
- 주제(DDC) 610.28
- 발행기관 아주대학교 일반대학원
- 지도교수 Ji Man Hong
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 석사
- 학과 및 전공 일반대학원 융합의과학과
- 실제URI http://www.dcollection.net/handler/ajou/000000034732
- 본문언어 영어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
This study proposes a novel approach to evaluating the motor function of stroke patients. For this purpose, a comprehensive new scoring system was developed based on three major stroke assessment indices: the National Institutes of Health Stroke Scale (NIHSS), the Barthel Index (BI), and the Modified Rankin Scale (mRS). This scoring system integrates stroke evaluation and daily activity performance measurement into a single metric. Integrated Stroke Mobility Score (ISMS), the new scoring system, was validated through correlation analysis with existing assessment methods and was designed to provide more accurate measurements of patients' motor abilities. As the system is designed to assess patients' movements using only smartphone- captured videos, skeleton data were obtained using pose estimation libraries such as OpenPose and MHFormer. Additionally, to compare skeletons generated by these libraries, 2D and pointcloud skeletons were created frame by frame using videos captured with an RGB-D camera. The skeleton data were used to calculate joint angles, which were then analyzed to classify the severity of symptoms into scores ranging from 0 to 4 using a decision-making model. The classification accuracy of OpenPose ranged from 46% to 79% for each posture, while MHFormer achieved accuracy between 61% and 79%. To verify the directional accuracy of each model, cosine similarity, normalized cross-correlation, and proportion within tolerance were used. The 2D and OpenPose skeletons exhibited over 85% similarity in cosine similarity and had a proportion within tolerance exceeding 78%. However, direct comparison between pointcloud and MHFormer skeletons was not feasible due to differences in frame count. This study serves as a foundational investigation into the feasibility of evaluating motor function using smartphone cameras and pose estimation libraries. By enabling real-time feedback, patients can monitor their scores during rehabilitation, which may enhance their motivation. Furthermore, healthcare professionals can utilize this approach to conduct rapid and accurate assessments, facilitating the effective design of personalized recovery programs. Ultimately, this method is anticipated to improve accessibility to treatment and contribute to the recovery and social reintegration of post-stroke patients.
more초록/요약
본 연구는 뇌졸중 환자의 운동 기능을 평가하기 위한 새로운 접근 방식을 제안한다. 이를 위해 미국 국립보건원 뇌졸중 척도(NIHSS), 바텔지수(barthel index), 수정랭킨척도(modified rankin scale)와 같은 세 가지 주요 뇌졸중 측정 지수를 기반으로, 뇌졸중 평가와 일상생활 수행 능력을 통합적으로 측정할 수 있는 새로운 점수 체계를 개발하였다. 새로운 점수 체계(ISMS)는 기존 평가 방법과의 상관관계 분석을 통해 검증되었으며, 환자의 운동 능력을 보다 정확하게 측정할 수 있도록 설계되었다. 스마트폰 영상을 기반으로 환자의 행동을 분석하기 위해 OpenPose와 MHFormer와 같은 포즈 추정 라이브러리를 활용하여 환자의 스켈레톤을 획득하였다. 또한, RGB-D 카메라로 촬영된 영상을 이용해 2D 및 포인트 클라우드 스켈레톤 데이터를 생성하고 이를 비교 분석하였다. 스켈레톤 데이터는 관절 각도를 계산하는 데 사용되었으며, 계산된 각도를 기반으로 증상의 중증도를 0점에서 4점까지 분류하는 의사결정 모델에 활용되었다. 분류 모델의 정확도는 OpenPose에서 각 자세별 46%에서 79%로 나타났고, MHFormer는 각 자세별 61%에서 79%의 정확도를 가졌다. 각 모델의 방향성을 검증하기 위해 코사인 유사도(cosine similarity), 정규화된 교차상관(normalized cross-correlation), 허용 오차 내 비율(proportion within tolerance)을 활용하였다. 분석 결과, 2D와 OpenPose는 코사인 유사도에서 모두 85% 이상의 값을 보였으며, 허용 오차 내 비율은 78% 이상으로 나타났다. 반면, 포인트 클라우드와 MHFormer는 서로 다른 프레임 수로 인해 직접적인 비교가 불가능했다. 이번 연구는 휴대폰 카메라와 포즈 추정 라이브러리를 활용한 운동 능력 평가의 가능성을 제시한 기초연구로서 의의가 있다. 이를 통해 환자는 실시간으로 점수를 확인하며 재활 과정에서 동기를 부여받을 수 있고, 의료진은 신속하고 정확한 평가를 통해 개인 맞춤형 회복 프로그램을 효과적으로 설계할 수 있을 것이다. 나아가, 이 접근법은 치료 접근성을 높이고 뇌졸중 후 환자의 회복과 사회 복귀를 촉진하는 데 기여할 것으로 기대된다.
more목차
I. Introduction 1
A. Background 1
1. Stroke 1
2. Hemiplegia 2
3. Stroke Assessment Methods 3
4. Pose Estimation 8
B. Relative Works 9
C. Objectives 11
II. Materials and Methods 12
A. Study Design and Patients 12
B. Analysis Tool for Motor Function in Stroke Hemiplegia Patients 15
C. Data Acquisition Devices 18
D. Skeleton Data Extraction 19
E. Posture Scoring 20
F. Statistical Analysis 21
G. Software 23
III. Results 24
A. Validation of the Integrated Stroke Mobility Score (ISMS) through Comparison with Established Stroke Assessment Scales 24
B. Utilizing Pose Estimation Libraries for Posture Detection 25
C. A Comparison of Results Before and After Preprocessing to Enhance Accuracy 27
D. Analysis of Motor Function 29
E. Comparison of Similarity with Manually Obtained Skeleton Data 31
IV. Discussion 33
V. Conclusions 36
References 37
국문요약 42
