모바일 기기의 DSP를 활용한 영상처리 성능 최적화
Performance optimization for image processing using a DSP in mobile devices
- 주제(키워드) DSP , 영상처리 , 최적화
- 주제(DDC) 621
- 발행기관 아주대학교
- 지도교수 김영진
- 발행년도 2022
- 학위수여년월 2022. 8
- 학위명 석사
- 학과 및 전공 IT융합대학원 IT융합공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000032172
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
모바일 카메라를 통해 획득한 영상 데이터는 후처리 과정을 통해 다양하게 활용되고 있으나, 최근 해상도가 비약적으로 커져서 처리해야 할 데이터의 양도 매우 증가 되었다. 그래서 이를 단순히 Mobile AP(Application Processor)로 처리하기에는 부족하여 다양한 Coprocessor를 활용하는 연구가 이루어졌고, 그 대표적인 사례가 GPU를 활용하는 것이다. 하지만 최근 GPU는 고해상도 디스플레이, 게임 및 AI 기술의 발달로 그 사용처가 많아져 여러 작업이 동시에 GPU를 사용할 경우 응답이 느려져 오작동으로 처리될 수도 있다. 그래서 이를 개선하기 위한 연구가 필요한 시점이다. 본 연구에서는 여러 영상처리 알고리즘 중 왜곡된 영상을 평평하게 해주는 Warping 알고리즘을 대상으로, GPU가 아닌 Qualcomm HVX (Hexagon Vector eXtention) DSP를 활용하였다. HVX는 AP보다 하드웨어 사양은 부족하지만, 반복된 연산에 대해서 32 / 64bit 단위가 아닌 1024bit Vector 단위의 병렬연산이 가능하므로 이를 통해 1차 성능 개선하였으며, 더 나아가 DSP 처리 중에 AP 유휴 시간이 생기므로, 처리 해야 할 하나의 프레임을 적절히 분배하여 AP와 DSP가 분산처리 함으로써 추가로 성능을 개선하였다. 실험 결과 단순히 AP만 사용하였을 때보다 DSP를 사용하였을 때 연산 속도는 10.1배 향상되었으며, 추가로 AP와 DSP를 분산처리하였을 경우 약 10.8배 향상된 결과를 확인할 수 있었다. 이로써 기존 연구와 달리 GPU 외에 다른 Coprocessor(HVX)로 영상처리 성능을 개선하였고, 더 나아가 분산처리를 추가하여 더욱더 향상된 성능을 구현하였다.
more초록/요약
In recent years, Image sensor specifications have improved rapidly, and the amount of data to be processed has increased significantly. The AP has been also improved accordingly, but it is insufficient. so the coprocessor such as GPU, NPU and so on are being used. However, the GPU has many uses, and the camera system cannot use it exclusively, so it often occur error like response delay. In this research, the performance of the Warping algorithm is improved by using a DSP called HVX that is provided by Qualcomm. The HVX operation clock speed is slower than AP, but it provides instruction that executes with a vector size of 1024 bit. Most image processing algorithms has character by very many repetitions of simple operations. So, if warping algorithm is implemented by HVX, the performance can be greatly improved. Additionally, AP state is idle when HVX is running, which can further improve performance if work load is properly distributed. As a result of the experiment, it was confirmed that the performance was improved by about 10.1 times when using HVX, and by 10.8 times in the case of distributed processing. Through this, it can be confirmed that the proposed technique can improve performance by utilizing other processors.
more목차
1. 서론 1
2. 배경 및 관련 연구 3
2.1. 이미지 프로세싱 과정 3
2.2. Warping 4
2.3. 이미지 프로세싱 효율화 연구 7
2.3.1. PC 환경에서의 GPU를 이용한 분산처리 8
2.3.2. 임베디드 환경에서의 GPU를 이용한 분산처리 9
2.3.3. 작업 분배를 통한 분산처리 효율 향상 11
3. 연구동기 13
4. 제안기법 17
4.1. HVX Scalar 기반의 Warping 개선 17
4.2. HVX Vector 기반의 Warping 개선 18
4.3. HVX Gather 기반의 Warping 개선 19
4.4. Distributed Processing 기반의 Warping 개선 22
5. 실험 결과 및 분석 25
6. 결론 및 향후 연구 27
참고문헌 28
