빅데이터 및 인공지능 기술을 이용한 가상화 인텔리전스 시스템 구축
Implement a Virtualized Intelligence System with Big Data and Artificial Intelligence Technologies
- 주제(키워드) 정보수집 , 가상화 , Hypervisor Virtualization , 머신러닝
- 주제(DDC) 005.8
- 발행기관 아주대학교
- 지도교수 김재훈
- 발행년도 2022
- 학위수여년월 2022. 2
- 학위명 석사
- 학과 및 전공 정보통신대학원 사이버보안
- 실제URI http://www.dcollection.net/handler/ajou/000000031557
- 본문언어 한국어
- 저작권 아주대학교 논문은 저작권에 의해 보호받습니다.
초록/요약
오늘날 인터넷의 환경에 방대한 자료가 정형(Formal Data), 비정형(웹문서, 이메일, 소셜데이터등)의 형식의 데이터가 급속도록 증가하고 있다. 따라서 기존의 방식으로는 수집된 데이터을 저장, 관리, 분석이 어려울 정도로 데이터가 커지고 관리하기 힘든 상황이다. 그에 따른 정보 손실이 적고 효율적인 빅데이터 저장처리 연구가 필요한 실정이다. 최근 다크웹을 이용한 범죄 및 개인정보 유출 등 사회적 이슈가 증가됨에 따라 다크웹에 대한 정보를 수집・분석 소요가 증가되는 실정이며, 그에 따른 빅데이터 및 인공지능을 활용한 연구가 활발히 진행되고 있다. 본 논문에서는 최적화된 기술을 제안하고자 하고, Surface Web 및 Dark Web에서 정보를 효율적으로 수집하기 위해 단일 서버에 수집체계를 구성하는 방법과 가상화 솔루션을 이용하여 수집하는 것을 실험하였으며, 실험을 통해 가상화 솔류션을 비교한 결과 하이퍼바이저 가상화(Hypervisor Virtualization) 및 컨테이너 가상화(Container Virtualization)을 효율적으로 구성하여 구축하는 것이 성능이 높은 것을 확인하였다.
more목차
제 1 장 서론 1
제 1 절 연구 배경 및 목적 1
제 2 절 연구의 구성 3
제 2 장 정보수집 기술 4
제 1 절 웹의 종류 4
1. 표층웹(Surface Web) 4
2. 딥 웹(Deep Web) 4
3. 다크 웹(Dark Web) 5
제 2 절 정보수집 기술의 종류 6
1. 웹크롤링(Web Crawling) 6
2. Open API 8
3. RSS(Rich Site Summary) 9
제 3 장 빅데이터 및 분산처리 10
제 1 절 빅데이터 및 분산처리 관련 10
1. Apache Hadoop 10
2. HDFS 10
3. ElasticSearch 11
제 2 절 가상화(Virtualization) 종류 14
1. 호스트 가상화(Host Virtualization) 14
2. 하이퍼바이저 가상화(Hypervisor Virtualization) 14
3. 컨테이너 가상화(Container Virtualization) 16
4. 도커 스웜(Docker swarm) 16
5. 쿠버네티스(Kubenetes) 17
제 4 장 인공지능 기술 18
제 1 절 머신러닝(Machine Learning) 18
1. 지도학습(Supervised Learning) 19
2. 비지도 학습(Unsupervised Learning) 20
3. 강화학습(reinforcement Learning) 20
제 2 절 딥 러닝(Deep Learning) 21
1. 인공 신경망(Artificial Neural Network) 21
2. 퍼셉트론(Perceptron) · 22
3. CNN(Convolutional Neural Network)) 23
제 5 장 제안하는 수집체계 구성 25
제 1 절 실험 환경 25
제 2 절 실험 대상 25
제 3 절 실험 절차 26
제 4 절 실험 결과 31
제 5 절 제안하는 수집분석체계 구성 34
제 6 장 결 론 36
참고문헌 37
