딥러닝 모델을 활용한 임베디드 플랫폼에서의 난폭운전 감시 기술에 관한 연구
Autonomous Reckless Driving Behavior Detection Using Deep Learning Models on an Embedded Computing Platform
초록/요약
Reckless driving is defined as a mental state in which the driver disregardsrules on the road and common driving procedures. While reasons behind reckless driving may be diverse and hard to be defined, it is important that such activities are monitored and detected to assure road safety. However, detection of such dangerous vehicles have been done manually until now, and there is a need to automate this. In this work, we present an embedded system for autonomously detecting reckless driving activities on the road in real-time. Specifically, using an NVIDIA Jetson TX2 platform, a camera, and a combination of light-weight deep learning models, we design a system that can identify abnormal vehicle motions via images on the road. Our system analyzes discrete per-frame images from the vehicle detection module, and creates a continuous trace of the vehicle's motion trajectory. While doing so, we generate a virtual grid on the road to obtain positions of vehicles with less overhead and accurately track a vehicle's movement even with low frame rate (5 fps) videos. The vehicle's motion trajectory is then compared against the surrounding vehicles to identify abnormal moving activity through driving activity classification, which can be provided to road monitoring personnel for final validation. The key challenge is to take into consideration the resource constraints of embedded platform, and we design algorithms to overcome their performance limitations. Evaluation results show that our scheme can well-extract the horizontal and vertical movements of a vehicle and show the potential for deploying autonomous reckless driving activity detection systems.
more초록/요약
본 연구는 임베디드 플랫폼에서 딥러닝 모델을 활용하여 난폭운전을 감시하고 분류하는 기술에 대한 내용을 다루고 있다. 난폭운전을 감시하고 단속하는 것은 안전을 위해 반드시 수행되어야 하는 일이지만, 현재 그것을 자동적으로 감지하고 단속할 수 있는 방법은 존재하지 않는다. 본 연구를 통해 임베디드 플랫폼에서 자동적으로 난폭운전을 감지하는 기술을 제안한다. NVIDIA Jetson TX2 플랫폼에서 카메라로 도로를 촬영하고, 딥러닝 프레임워크를 통해 도로 위의 난폭운전을 감지한다. 본 연구에서 제안하는 시스템은 영상을 프레임 단위로 분석하고, 차량의 주행을 추적하고, 그 결과를 2D 공간에 좌표화하여 낮은 프레임율을 가진 영상(5 fps)에서도 정확하게 동작하는 방식을 제안한다. 이 방식을 통해 얻어진 차량의 주행 데이터를 기반으로 주변 차량과의 주행 패턴 비교를 통해 난폭운전을 감지한다. 차량의 종횡 방향 움직임 분석의 결과를 통해 통한 난폭 운전 감시 기술에 대한 가능성을 제시하고 있다. 본 연구의 핵심 목표는 임베디드 환경이라는 GPU의 성능 및 자원의 제약사항을 고려하여 경량화된 분석 시스템을 구현하는 것이다. 최종적으로 본 연구는 종, 횡 방향에서의 차량의 움직임 모두를 정확히 인식할 수 있다는 결과를 보였고 이것으로 비디오 기반의 자동 차량 감시 시스템 구축의 가능성을 제시하고 있다.
more목차
1. Introduction 1
2. Related Work 5
3. Preliminary Studies 7
3.1 Vehicle object detection 8
3.2 Video characteristics 9
4. System Design 13
4.1 Vehicle tracking 13
4.2 Movement Analysis 17
5. Evaluation 23
6. Limitations 30
7. Conclusion 32
References 33
요약 38
