A Domain Adaptation Methodology Using Synthetic Images for Computer Vision-Based Automated Construction Progress Monitoring
- 주제(키워드) 컴퓨터 비전 , 공정 모니터링 , MMD , 도메인 시프트 , 도메인 최적화
- 주제(DDC) 720
- 발행기관 아주대학교 일반대학원
- 지도교수 차희성
- 발행년도 2025
- 학위수여년월 2025. 8
- 학위명 석사
- 학과 및 전공 일반대학원 스마트융합건축학과
- 실제URI http://www.dcollection.net/handler/ajou/000000034860
- 본문언어 영어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
컴퓨터 비전 기반의 건설 공정 모니터링 분야에서, 가상 이미지는 실제 이미 지 기반 학습 데이터의 대안으로 주목받고 있다. 가상 이미지는 자동 주석 생 성이 가능하고 다양한 시뮬레이션 조건을 반영할 수 있어 학습 데이터 확장에 유리하지만, 실제 이미지와의 도메인 분포 차이로 인해 모델 성능이 저하되는 도메인 시프트 문제가 발생한다. 본 연구는 이 문제를 해결하기 위해, 실제 이 미지와 가상 이미지 간의 클래스별 특성 분포 차이를 정량적으로 측정하고 이 를 최소화하는 도메인 최적화 기법을 제안한다. 제안하는 방법은 YOLOv8의 백본 네트워크를 이용해 클래스별 특징 벡터를 추출하고, 실제 이미지와 변환된 가상 이미지 간의 클래스별 평균 벡터를 기반 으로 MMD를 계산한다. 이미지 변환 기법은 미분 가능한 변환과 미분이 어려 운 변환으로 나누어 처리하였으며, 각각에 대해 Gradient 기반 최적화와 Bayesian 최적화를 결합한 하이브리드 방식의 최적화 알고리즘을 설계하였다. 실험은 총 네 가지 유형의 데이터셋(1. 실제 이미지, 2. 원본 가상 이미지, 3. 최적화된 가상 이미지, 4. 원본+최적화 가상 이미지 혼합)을 구축하여 진행 되었으며, 콘크리트 및 단열재 공정을 대상으로 실내 건설 이미지에서의 분할 정확도를 평가하였다. 그 결과, 제안된 방법은 특히 단열재와 같이 시각적으로 복잡하고 대비가 낮은 객체에 대해 유의미한 성능 향상을 보였으며, 이는 실제 도메인에 적합한 시각적 특성 변환이 효과적으로 이루어졌음을 보여준다. 본 연구는 향후 BIM 시스템과의 연계를 통해 객체 단위의 공정 진척률 산정 자동 화에 기여할 수 있는 기반 기술로 확장될 수 있는 가능성을 제시한다
more초록/요약
In computer vision-based construction monitoring, synthetic images have emergedas a scalable alternative to real-world image datasets by offering automated annotation and diverse simulation conditions. However, a critical challenge arisesdue to the domain shift between synthetic and real images, which often leads to asignificant drop in model performance during deployment in actual construction sites. This study addresses this problem by proposing a domain optimization framework that minimizes the class-wise distributional discrepancy between synthetic and real images using MMD as a statistical alignment criterion. To achieve this, a class-specific hybrid optimization algorithm is developed, which combines gradient-based optimization for differentiable image transformations and Bayesian optimization for non-differentiable transformations. Feature vectors are extracted using the backbone network of YOLOv8, and the MMD is calculated between the class-wise mean vectors of real and transformed synthetic images. A range of transformation techniques, including brightness, noise, sharpening, and tone adjustment, are jointly optimized to reduce the domain gap. Four datasets were constructed for evaluation: (1) real images, (2) unprocessedsynthetic images, (3) synthetic images optimized through MMD minimization, and (4) a hybrid dataset combining the original and optimized synthetic images. Experiments conducted on concrete and insulation classes in interior construction demonstrate that the proposed method significantly improves segmentation accuracy, particularly in complex cases such as low-contrast insulation materials. Furthermore, the approach has potential for integration with BIM systems toautomate progress tracking by enabling object-wise detection of construction components.
more목차
Chapter 1. Introduction 1
1.1. Research Background 1
1.2. Research Procedure 5
1.2.1 Data Collection and Preprocessing 5
1.2.2 Development of the MMD Optimization Algorithm 5
1.2.3 Model Evaluation and Validation 6
Chapter 2. Literature Review 8
2.1. Studies on Automated Progress Monitoring 8
2.2. Studies on the Use of Synthetic Images 10
2.3. Domain Transformation-Based Methods 12
2.4 Generative AI-Based Methods 14
2.5 Summary and Limitations of Previous Studies 15
Chapter 3. Progress monitoring data collection 17
3.1. Collection of Authentic Image Data 17
3.2. Virtual 3D Model Development 20
3.3. Synthetic Image Data Generation 25
Chapter 4. MMD Minimization Algorithm 28
4.1. Feature Extraction from Images 28
4.2. Definition of MMD Calculation 32
4.3. Definition of Image Transformation Techniques 35
4.4. Development of the MMD Minimization Algorithm 38
4.5. Results of the MMD Minimization Algorithm 43
Chapter 5. Evaluation of Progress Monitoring Model 54
5.1. Dataset Composition 54
5.2. Model Training Results 57
5.2.1 Quantitative Performance Analysis 57
5.2.2 Analysis of Results 59
Chapter 6. Discussion 68
6.1. Discussion 68
6.2. Limitation 71
Chapter 7. Conclusion 73
References 75
Korean Abstract 79
