자율주행 충돌 위험 감소를 위한 DCNN기반 3D 차량 궤적 연구
- 주제(키워드) 3D Object Detection , Vehicle Trajectory , Collision Detection
- 주제(DDC) 658.5
- 발행기관 아주대학교
- 지도교수 권용진
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 박사
- 학과 및 전공 일반대학원 산업공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000031551
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
자율주행이 완전자율화 단계에 도달하기 위해서는 통행량이 많고 혼잡한 교통조건에서도 안정적인 주행과 상황에 따른 적절한 대응이 가능해야한다. 그러나 단일 자율주행차량 기술의 발전만으로는 안전을 보장할 수 없다. 차량에 탑재된 센서로 인식하기 어려운 사각지대에서 접근하는 차량이나 보행자에 대한 대응은 기존 기술만으로는 한계가 있다. 따라서 교통이 혼잡한 구간에 CCTV와 같은 카메라를 설치하여 자율주행차량 주변에 넓은 범위의 교통 상황을 빈틈없이 관제해 충돌 위험을 감소시켜주는 연구가 필요하다. 특히, 영상으로부터 충돌 위험을 정확하게 인지하기 위해서는 차량의 3차원 공간적 정보(위치와 방향, 크기)를 추정하는 것이 핵심이다. 그러나 기존에 연구 방법들은 대부분 차량의 주행 방향이 단조로운 환경(고속도로, 직선도로)에서 영상의 기하학적 특성을 이용하여 차량의 위치와 방향을 추정하기 때문에 교차로나 비정형 주행이 많이 발생되는 도로 환경에서 적용하기 어려운 문제가 있다. 이러한 점을 극복하기 위해 본 논문에서는 두 가지 측면에서 연구를 수행하였으며 요약하면 다음과 같이 정리할 수 있다. 첫 번째 연구는 고층건물에 설치된 여러 대의 카메라에서 교통 영상으로부터 도로 위에 모든 차량에 대한 3D 차량 궤적(Vehicle Trajectory)을 추정하는 방법을 제안한다. 먼저 통행량이 많은 구간에서 넓은 범위의 궤적을 얻기 위해 여러 대의 카메라를 사용하여 교통 데이터를 수집하였다. 그 다음에 카메라 캘리브레이션과 결합된 2개의 심층합성곱신경망을 통해 각각의 단일 카메라 장면에서 차량들의 3D Bounding Box를 추정 및 추적한다. 연속적인 3D 차량 궤적을 얻기 위해 서로 다른 시점을 갖는 카메라 이미지를 Homography Transformation을 통해 지면 평면 위에 투영한다. 추출된 차량의 궤적 데이터는 간단한 선형보간과 선형회귀를 사용해 오차를 보정하고 라벨링 데이터와 추출 데이터 간의 차이를 계산하여 제안된 방법의 정확도를 평가한다. 두 번째 연구는 첫 번째 연구를 통해 추출한 교통 흐름 데이터에서 임의의 자율주행차량을 지정하고 충돌 위험 감소를 위해 주변차량의 교통 조건을 감지하는 알고리즘을 제안한다. 지정차량으로부터 차량 중심 간에 떨어진 거리를 토대로 사고, 위험, 주의, 정상 4가지의 상태를 정의하였고 이를 식별할 수 있는 파라미터를 설정하였다. 최종적으로 실제 교통 영상에서 위험한 상황을 모니터링하여 다양한 시나리오에 따라 제안된 알고리즘을 적용하고 지정된 차량 주변에 접근하는 위협 차량들의 상태가 잘 감지되는지 확인하여 제안된 방법의 효용성을 검증하였다.
more목차
제1장 서론 1
제1절 연구 배경 및 필요성 1
제2절 연구 목표 5
제3절 기존 연구와의 차별성 및 한계점 6
제2장 이론적 배경 12
제1절 Convolutional Neural Network 12
제2절 Object Detection 15
제3절 YOLOv4의 구조 설명과 이해 19
제4절 카메라 시점의 이해와 Camera Calibration 21
제5절 Homography Transformation의 이해 25
제3장 교통 영상 수집 및 학습 데이터 준비 28
제1절 교통 영상 수집 28
제2절 학습 데이터 준비 30
제4장 DCNN기반 3D 차량 궤적 추출 연구 33
제1절 YOLOv4 기반 Object Detection과 Multi-Object Tracking 35
제2절 Multi-Branch CNN 기반 3D Object Estimation 43
제3절 Trajectory Reconstruction과 Overlapping Vehicle Matching 57
제4절 Trajectory Correction과 Traffic Visualization 63
제5절 Accuracy Measurement와 Result Analysis 70
제5장 자율주행 충돌 위험 감소를 위한 알고리즘 연구 72
제6장 결론 및 향후 연구계획 79
참고문헌 81
부록 86
Abstract 92
