Application of a common data model-based multimodal integration method for the development of clinical prediction models in psychiatry
- 주제(키워드) Electronic health records , Multimodal integration , Predictive model , Psychiatry , OMOP-CDM
- 주제(DDC) 610
- 발행기관 아주대학교 일반대학원
- 지도교수 Rae Woong Park
- 발행년도 2025
- 학위수여년월 2025. 2
- 학위명 박사
- 학과 및 전공 일반대학원 의학과
- 실제URI http://www.dcollection.net/handler/ajou/000000034364
- 본문언어 영어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
Although there has been significant progress in developing predictive models using artificial intelligence in psychiatry, many of these models fail to achieve sufficient performance. Multimodal integration has been attempted in several studies as a method to improve predictive model performance. Since each modality provides distinct information about different aspects of a patient, combining multiple modalities allows for a more comprehensive understanding of a patient’s psychopathology. In psychiatry, where diverse and detailed data are required, multimodal integration is one approach that could enhance predictive model performance; however, its application in this field has been limited. Therefore, we aimed to develop predictive models by integrating three types of healthcare big data (tabular data, text data, and brain MRI data). Furthermore, we explored different integration methods to assess their impact on model performance and to evaluate the broader potential for applying multimodal integration in clinical settings. In this study, we developed predictive models using two healthcare databases (AUSOM for development and KNUH for external validation). To achieve the study’s objectives, we implemented feature extraction processes tailored to each modality: for tabular data, we used the LASSO method; for text data, the LDA method; and for brain MRI data, the group ICA method. To evaluate the feasibility of multimodal integration for clinical prediction models in psychiatry, we focused on two specific prediction tasks: 1) predicting TRD in patients with depression, and 2) classifying suicidal thoughts in patients with depression. We developed prediction models for TRD and suicidal thoughts using multiple algorithms, including LR, SVM, and XGBoost. Additionally, we evaluated the performance of an ensemble algorithm that combined the three individual models, resulting in a total of four algorithms for performance assessment across different modalities. Using the algorithm identified as the best model and the ensemble algorithm, we built multimodal prediction models based on various data type combinations. Furthermore, we performed external validation on all the models and examined feature importance for each fully integrated multimodal model. As a result of this study, we successfully developed and externally validated predictive models incorporating multimodal integration for both the TRD task and the suicide task. In the TRD task, when comparing algorithms by modality, XGBoost demonstrated the highest AUROC (Tabular: 68.4%; Text: 57.9%; MRI: 70.3%), and the ensemble model outperformed XGBoost with higher AUROC scores (Tabular: 72.2%; Text: 61.7%; MRI: 75.9%). Similarly, in the suicide task, XGBoost also showed the highest AUROC among the modalities (Tabular: 65.0%; Text: 74.8%; MRI: 73.8%), with the ensemble model performing similarly to XGBoost (Tabular: 65.0%; Text: 73.8%; MRI: 69.3%). For the multimodal integration approach, in the TRD task, both XGBoost and the ensemble algorithm yielded higher AUROCs for the integrated models compared to single-modality models (XGBoost: Tabular + Text: 72.8%; Tabular + MRI: 77.0%; Text + MRI: 76.2%; Total: 79.4%; Ensemble: Tabular + Text: 75.3%; Tabular + MRI: 79.1%; Text + MRI: 76.5%; Total: 79.0%). In the suicide task, XGBoost and the ensemble algorithm both showed improved AUROC for the integrated models over single-modality models, with a few exceptions (XGBoost: Tabular + Text: 74.3%; Tabular + MRI: 70.8%; Text + MRI: 81.0%; Total: 80.8%; Ensemble: Tabular + Text: 78.0%; Tabular + MRI: 73.5%; Text + MRI: 76.3%; Total: 80.5%). During external validation, the performance gap between single-modality and multimodal models for the XGBoost algorithm disappeared, but the ensemble model continued to outperform single-modality models, even during external validation. Overall, the ensemble model performed better than the XGBoost model in external validation. In terms of feature importance, MRI was identified as a key variable for both the TRD and suicide tasks, with tabular features being important for TRD, while text features were more significant in the suicide task. In this study, we developed predictive models by integrating three data types and externally validated them. The multimodal approach outperformed single-modality models in both tasks, with this advantage persisting during external validation. However, further research is needed to optimize multimodal integration techniques in psychiatry and enhance model performance. Keywords: Electronic health records, Multimodal integration, Predictive model, Psychiatry, OMOP-CDM
more초록/요약
정신의학 분야에서 인공지능을 활용한 예측 모델 개발이 크게 진전되었으나, 많은 모델들이 충분한 성능을 발휘하지 못해 개발 단계에서 중단되는 경우가 많다. 예측 모델 성능을 개선하기 위한 방법으로 멀티모달(multimodal) 통합이 몇몇 연구에서 시도되고 있다. 각 모달리티는 환자의 다양한 측면에 대한 고유한 정보를 제공하기 때문에, 여러 모달리티를 결합하면 환자의 정신 병리를 보다 포괄적으로 이해할 수 있다. 정신의학 분야는 다양한 상세 데이터가 필요한 만큼, 멀티모달 통합은 예측 모델 성능을 향상시킬 수 있는 방법 중 하나이지만, 이 분야에서의 적용은 제한적이었다. 이에 본 연구에서는 세 가지 유형의 의료 빅데이터(정형 데이터, 텍스트 데이터, 뇌 MRI 데이터)를 통합하여 예측 모델을 개발하는 것을 목표로 하였다. 또한, 다양한 통합 방법이 모델 성능에 미치는 영향을 평가하고, 임상 환경에서 멀티모달 통합의 적용 가능성을 평가하고자 하였다. 본 연구에서는 두 개의 의료 데이터베이스(AUSOM은 개발용, KNUH는 외부 검증용)를 사용하여 예측 모델을 개발하였다. 연구 목표를 달성하기 위해 각 모달리티에 맞춘 특성 추출 과정을 구현하였으며, 정형 데이터는 LASSO 방법을, 텍스트 데이터는 LDA 방법을, 뇌 MRI 데이터는 그룹 ICA 방법을 사용하였다. 정신의학에서 임상 예측 모델의 멀티모달 통합 가능성을 평가하기 위해, 1) 우울증 환자에서 치료 저항성 우울증(TRD)을 예측하는 문제, 2) 우울증 환자에서 자살 사고를 분류하는 문제라는 두 가지 특정 예측 과제를 설정하였다. TRD와 자살 사고에 대한 예측 모델을 LR, SVM, XGBoost를 포함한 다양한 알고리즘을 사용하여 개발하였다. 또한, 세 가지 개별 모델을 결합한 앙상블 알고리즘의 성능도 평가하여 총 네 가지 알고리즘을 모달리티별로 성능을 평가하였다. 최종적으로 가장 좋은 성능을 보인 알고리즘과 앙상블 알고리즘을 사용하여 다양한 데이터 유형 조합을 기반으로 한 멀티모달 예측 모델을 개발하였다. 또한, 개발된 모든 모델에 대해 외부 검증을 수행하고, 완전히 통합된 멀티모달 모델에서 특성 중요도를 확인하였다. 연구 결과, TRD와 자살 과제 모두에서 멀티모달 통합 방법이 적용된 예측 모델을 성공적으로 개발하고 외부 검증을 수행하였다. TRD 과제에서 모달리티별 알고리즘을 비교했을 때, XGBoost가 가장 높은 AUROC를 보였고(정형 데이터: 68.6%; 텍스트: 57.9%; MRI: 70.3%), 앙상블 모델은 XGBoost보다 더 높은 AUROC를 보였다(정형 데이터: 72.2%; 텍스트: 61.7%; MRI: 75.9%). 자살 과제에서도 모달리티별 알고리즘을 비교했을 때, XGBoost가 가장 높은 AUROC를 보였고(정형 데이터: 65.0%; 텍스트: 74.8%; MRI: 73.8%), 앙상블 모델은 XGBoost와 유사한 AUROC를 보였다(정형 데이터: 65.0%; 텍스트: 73.8%; MRI: 69.3%). TRD 과제에서, XGBoost와 앙상블 알고리즘 모두 통합 모델이 단일 모달리티 모델보다 더 높은 AUROC를 보였다(XGBoost: 정형 + 텍스트: 72.8%; 정형 + MRI: 77.0%; 텍스트 + MRI: 76.2%; 전체: 79.4%; 앙상블: 정형 + 텍스트: 75.3%; 정형 + MRI: 79.1%; 텍스트 + MRI: 76.5%; 전체: 79.0%). 자살 과제에서도 XGBoost와 앙상블 알고리즘 모두 몇 가지 예외를 제외하고는 통합 모델이 단일 모달리티 모델보다 더 높은 AUROC를 보였다(XGBoost: 정형 + 텍스트: 74.3%; 정형 + MRI: 70.8%; 텍스트 + MRI: 81.0%; 전체: 80.8%; 앙상블: 정형 + 텍스트: 78.0%; 정형 + MRI: 73.5%; 텍스트 + MRI: 76.3%; 전체: 80.5%). 외부 검증에서, XGBoost 알고리즘에서는 단일 모달리티 모델과 멀티모달 모델 간의 성능 차이가 사라졌으나, 앙상블 모델은 외부 검증 시에도 단일 모델보다 성능이 우수하였으며, 전반적으로 앙상블 모델이 외부 검증에서 XGBoost 모델보다 더 높은 성능을 보였다. 특성 중요도 분석에서, TRD와 자살 과제 모두에서 MRI가 중요한 변수로 선정되었으며, TRD에서는 정형 데이터가, 자살 과제에서는 텍스트 데이터가 중요한 변수로 나타났다. 본 연구를 통해 세 가지 유형의 데이터를 통합하여 예측 모델을 개발하고 외부 검증을 수행하였다. 멀티모달 접근법은 두 가지 과제 모두에서 단일 모달리티 모델을 능가하였으며, 이러한 우수성은 외부 검증에서도 지속되었다. 그러나 정신의학 분야에서 최적의 멀티모달 통합 기술을 확립하고 모델 성능을 향상시키기 위한 추가 연구가 필요하다. 키워드: 전자의무기록, 멀티모달 통합, 예측 모형, 정신의학, 공통데이터모델
more목차
I. Introduction 1
A. Background 1
1. Clinical prediction model in psychiatry 1
2. Multimodal integration method 4
3. Observational Medical Outcome Partnership Common Data Model 7
B. Objectives 9
II. Materials and Methods 10
A. Data sources 10
B. Feature extraction 11
C. Prediction tasks 19
D. Model development 21
E. External validation 23
F. Feature importance 27
III. Results 28
A. Demographic and clinical characteristics for study populations 28
B. Model specification 31
C. Model performance 35
D. Multimodal model performance 40
E. External validation 46
F. Feature importance 52
IV. Discussion 56
A. Main findings 56
1. Feature extraction pipeline for multi-modality based on the CDM 57
2. Model development through specific and diverse tasks 59
3. Performance evaluation of the multimodal integrative model using multiple modalities 59
4. External validation using multicenter data 62
5. Feature importance based on task and integration methods 63
B. Limitations 65
C. Further research 67
V. Conclusion 69
References 70
Appendix 80
국문요약 87
