하둡-Spark 기반 Top-K 콘텐츠 추천 기법 설계
A Design on Top-K Contents Recommendation Mechanism Based on Hadoop-Spark Open-source Framework
- 주제(키워드) Recommendation System , Top-K Contents , Bandwagon Effect , Hadoop , Spark
- 발행기관 아주대학교
- 지도교수 박기진
- 발행년도 2018
- 학위수여년월 2018. 2
- 학위명 석사
- 학과 및 전공 일반대학원 산업공학과
- 실제URI http://www.dcollection.net/handler/ajou/000000027073
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
추천시스템 설계 시에, 모든 아이템에 대한 추천 정확도를 높이기보다는 Top-K(최상위)아이템 추천 리스트가 실제 “유저에 적합한 아이템인지?”여부 가 더 중요하다. 이에 본 논문에서는 이러한 Top-K 콘텐츠의 추천 정확도를 높이고자, 심리학적 개념인 편승효과(Bandwagon Effect)를 반영한 추천시스템을 설계하였다. 또한 대용량 데이터 분산 저장 및 고속 연산을 위하여 하둡과 분산 인 메모리 데이터 연산 프레임워크인 Spark를 통하여 제안된 추천시스템을 개발하였다. 왜냐하면, 과거의 선호도를 바탕으로 아이템을 추천하는 추천시스템에서는 대용량 데이터를 처리해서 개인의 취향을 파악하는 것이 필요하기 때문이다. 성능 평가에서는 MovieLens Dataset을 사용하여, 대표적인 예측 정확도 평가 지표인 RMSE(Root Mean Square Error)와 Precision@K를 통하여, 추천 모델의 성능을 분석하였으며, RMSE는 약 10% 개선되었으며, Precision@K는 최상위 추천 리스트인 Top-2~4에서 기존 모델에 비해 더 나은 결과를 보여주었다.
more목차
제 1 장 서 론 1
제 1 절 연구의 필요성 및 목적 1
제 2 절 연구의 범위 및 구성 2
제 2 장 관련 연구 3
제 1 절 협업 필터링 3
1.1 기술적 측면에서의 분류 4
1.2 구현적 측면에서의 분류 5
1.3 그 외의 협업 필터링 기반 추천시스템 6
1.4 협업 필터링의 한계점 7
제 2 절 Matrix Factorization(MF) 및 Alternating Least Squares(ALS) 10
제 3 절 K-Means Clustering 11
제 4 절 편승 효과 12
제 5 절 Top-K Recommendation & Precision@K 13
제 6 절 하둡 기반 Spark Framework 14
제 3 장 편승효과를 적용한 Top-K 콘텐츠 추천 기법 설계 17
제 1 절 인기 아이템의 선정 17
제 2 절 기대감(Expectancy) 20
제 3 절 제안된 추천 프로세스 21
제 4 장 제안 모델의 성능 평가 및 사용 데이터 셋 23
제 1 절 성능 평가 및 사용 데이터 셋 23
제 2 절 실험 환경 및 소스코드 24
제 3 절 실험 결과 26
제 5 장 결론 및 향후 연구 29
참고문헌 31
Abstract 36
