중환자실의 섬망 발생 예측을 위한 생체신호 기반 모델
초록/요약
Delirium, commonly experienced by stroke patients, is an acute mental aberration state characterized by cognitive decline, including impaired attention, altered consciousness, and impairment of memory and thought processes. It is one of the neuropsychotic syndromes. [1] Although, some studies showed that stroke patients with delirium have a higher mortality rate and a longer hospital stay, these patients can improve their prognosis through early prediction and prevention. [2] Delirium is assessed using the Confusion Assessment Method for ICU (CAM-ICU). [3] However, since the CAM-ICU, which is generally performed at 8-hour intervals, is not continuously evaluated, the exact time of occurrence of delirium cannot be known, and delirium evaluation may not be possible depending on the patient's condition. Therefore, in this study, a biosignal-based model was developed for the occurrence of delirium in intensive care unit patients, and the prediction of the occurrence of delirium was evaluated. Diagnosis using a machine learning model can be performed more frequently than CAM-ICU, which is the existing delirium evaluation method, and it can detect delirium occurrence even in patients who cannot be evaluated by CAM-ICU. In this study, a control study design was applied for model development, and data were extracted by pairing Case and Control in as ratio of 1:4. The subjects of the study included 84 patients with delirium and 336 patients with non-delirium who were admitted to the intensive care unit of Ajou University Hospital. For labelling the occurrence of delirium, the CAM-ICU, which was measured 3 times a day by a nurse, was used. In addition to the CAM-ICU evaluation, two experienced neurologists accurately reviewed clinical data and nursing records to select the final subjects. The clinical variables of Electronic Medical Record (EMR) and biosignal (Electrocardiogram, ECG) data measured by Patient Monitoring Device (PMD) were used. The final model was trained by selecting 20 variables with high importance using the stepwise selection method. The machine learning model used several types of classification algorithm models, but the final model was developed with logistic regression (LR), which had the best performance. In addition, the train dataset and the test dataset were divided randomly in an 8:2 ratio of the entire dataset, and again, 10% of the train dataset was composed of validation dataset to be used for evaluation. Hyper-parameter tuning was performed. This process was repeated 50 times, and the average performance and 95% confidence interval (CI) of the model were measured using the evaluation data. For the performance evaluation indicators of the model, Area Under the Receiver Operating Characteristic curve (AUROC), Area Under the Precision Recall curve (AUPRC), Accuracy, Precision, Recall, F1-score, Sensitivity, and Specificity were used. The model was trained using data for 8 hours right before the event occurrence, and the following two methods were used for the evaluation: (1) Evaluating the prediction of the patient with delirium right before the event (2) The model according to the time right before the event time-series evaluation of prediction probabilities trends. Evaluation (1) results showed AUROC 0.782 [95% CI: 0.763-0.801], AUPRC 0.555 [95% CI: 0.524-0.586], Accuracy 0.736 [95% CI: 0.711-0.761] and evaluation (2) results showed AUROC 0.731 [95% CI: 0.715-0.747], AUPRC 0.297 [95% CI: 0.28-0.314], Accuracy 0.689 [95% CI: 0.665-0.712]. This study showed that a machine learning model using biosignal data at the time point when delirium occurred and time point when delirium did not occur could predict whether an event occurred at the point right before the occurrence of delirium. In addition, it was confirmed that the closer to the point of occurrence of delirium, the higher the prediction probability of the model. In conclusion, the result of this study show that the model learns the data pattern right before the occurrence of delirium, and not only can classify delirium patients and non-delirium patients, but also predict that the prediction probability of the model increases as the event occurs in the prediction of delirium patients.
more초록/요약
뇌졸중 환자가 흔히 겪는 섬망은 주의력 저하, 의식변화, 기억력과 사고 과정의 손상을 포함한 인지기능 저하로 특징지어지는 급성 정신적 착란 상태로, 중환자실(Intensive Care Unit, ICU)에서 흔히 보고되는 신경정신학적 증후군 중 하나이다. 섬망이 있는 뇌졸중 환자는 사망률(Mortality)이 높고 입원기간도 길어진다는 연구결과가 있지만, 이러한 환자들은 조기 예측과 예방을 통해 예후를 개선시킬 수 있다. 섬망은 CAM-ICU(The Confusion Assessment Method for ICU) 라는 사정 도구를 이용하여 평가한다. 하지만, 일반적으로 8시간 간격으로 시행되는 CAM-ICU는 지속적으로 평가되지 않기 때문에 정확한 섬망 발생시점을 알 수 없고, 환자의 상태에 따라 섬망 평가가 불가능한 경우도 있다. 이에 본 연구에서는 중환자실 환자의 생체신호(Biosignal)를 활용하여 섬망 예측 모델을 개발하고, 섬망 상태 예측에 대한 평가를 실시하였다. 머신러닝 모델은 CAM-ICU보다 더 자주 시행될 수 있을 뿐만 아니라, CAM-ICU 평가가 불가능한 환자에 대해서도 섬망 발생을 감지할 수 있다. 본 연구는 모델 개발을 위해 환자 대조군 연구 설계를 적용하였고, Case와 Control을 1:4의 비율로 짝짓기 하여 섬망 환자 84명, 비섬망 환자 336명이 포함되었다. 섬망 발생여부는 간호사가 1일 3회 측정한 CAM-ICU 결과와 임상 데이터, 간호기록을 2명의 숙련된 신경과 전문의가 정밀하게 차트 리뷰하여 최종 대상자를 선정했다. 데이터는 전자의무기록(Electronic Medical Record, EMR)에 기록된 임상 변수와 환자감시장치(Patient Monitoring Device, PMD)에서 측정된 활력징후(Vital-Sign), 심전도 (Electrocardiogram, ECG) 데이터를 활용하였고, 최종 모델은 단계적 (STEPWISE) 선택법을 이용하여 중요도가 높은 20개 변수를 선정하여 모델을 학습시켰다. 머신러닝 모델은 여러 분류 알고리즘 모델을 활용하여 성능이 가장 좋았던 로지스틱 회귀(Logistic Regression, LR)로 최종 모델을 개발하였다. 학습 데이터(Train Data)와 평가 데이터(Test Data)는 전체 데이터셋을 임의로 8:2 비율로 나누었고, 다시 훈련 데이터의 10%를 검증 데이터로 구성하여 평가 데이터에 사용할 초매개변수 (Hyper-parameter)를 조정하였다. 이러한 과정을 50회 반복하여 총 50개의 학습·검증·평가 데이터셋을 구성하였고, 모든 평가 데이터를 이용하여 측정한 모델 성능의 평균값과 95% 신뢰구간 (Confidence Interval, CI)을 계산하였다. 모델의 평가 지표는 Area Under the Receiver Operating Characteristic curve(AUROC), Area Under the Precision Recall curve (AUPRC), Accuracy, Precision, Recall, F1-score, Sensitivity, Specificity를 이용하였다. 모델은 이벤트 발생 30분 전인 예측시점에서 8시간 직전의 데이터를 이용하여 학습시켰고, 다음과 같은 2가지 방법으로 평가하였다: (1) 이벤트 발생 직전 섬망 환자 분류 (2) 이벤트 발생 직전 시점에 따른 모델의 예측 확률 및 알람 추이에 대한 시계열적 평가. (1) 평가 방법에 따른 성능측정 결과, AUROC 0.782 [95% CI: 0.763-0.801], AUPRC 0.555 [95% CI: 0.524-0.586], Accuracy 0.736 [95% CI: 0.711-0.761] 의 성능을 보여주었고, (2) 평가 방법의 성능측정 결과, AUROC 0.731 [95% CI: 0.715-0.747], AUPRC 0.297 [95% CI: 0.28-0.314], Accuracy 0.689 [95% CI: 0.665-0.712] 의 성능을 보여주었다. 본 연구는 머신러닝 모델이 섬망이 발생한 시점과 발생하지 않은 시점의 생체신호(Biosignal) 데이터를 활용하여 이벤트 발생 여부를 예측할 수 있음을 보여주었고, 섬망 환자 중에서도 이벤트 발생 시점에 가까울수록 모델의 예측확률이 높아짐을 확인하였다. 결론적으로, 본 연구의 결과는 섬망 발생 직전의 데이터 패턴을 모델이 학습하여 섬망 환자와 비섬망환자를 분류할 수 있을 뿐만 아니라, 섬망 환자의 예측에서도 이벤트 발생시점에 가까워질수록 모델의 예측 확률이 증가함을 보여주었다.
more목차
제1장 서론 1
제1절 연구 배경 1
제2절 관련 연구 2
제3절 연구 목적 4
제2장 연구 대상 및 방법 5
제1절 데이터 수집 및 라벨링 5
제2절 연구 설계 9
제3절 데이터 추출 및 전처리 13
제4절 통계분석 17
제5절 머신러닝 모델 18
제6절 모델 평가 22
제7절 모델 개발 소프트웨어 25
제3장 결과 26
제1절 데이터 수집 26
제2절 중요변수 선정 결과 30
제3절 모델 성능 평가 30
제4장 고찰 42
제5장 결론 46
제6장 참고문헌 47
