빅 데이터의 동향을 살펴보고, 활용방안을 생각해본다.

1. 빅 데이터 개요 및 활용
정 진 욱
2014. 5. 7

2. 목차
 빅 데이터 개요
 빅 데이터 동향
 빅 데이터 분석
 빅 데이터 활용
2

3. 빅 데이터 개요 : 정의
 빅 데이터는 단지 크기(규모)만을 의미하지 않는다.
3
…

4. 빅 데이터 개요 :규모와 속도
 데이터 홍수
– 2020년은 현재(2011년 기준)대비 50배 Data 증가예상 = 40ZB ~ 50ZB
 40ZB = 전 세계 모래알의 수 7억 50만조개 X 57
4
1.8 Zeta byte

5. 빅 데이터 개요 : 다양성
 정형 데이터 (컴퓨터가 이해할 수 있는 포맷을 가짐)
– DATABASE, XML, RDF 등
 비정형 데이터 (컴퓨터가 이해할 수 없는 포맷을 가짐)
– 이미지, 동영상, 기타 (PDF, 엑셀, PPT 등등)
5
http://www.wolframalpha.com/input/?i=linear+equations&lk=4
http://www.wolframalpha.com/

6. 목차
 빅 데이터 개요
 빅 데이터 동향
 빅 데이터 분석
 빅 데이터 활용
6

7. 빅 데이터 동향 : 주요 국가별
 주요 국가들은 (미국, EU, 영국, 호주등) 빅 데이터 활성화 노력.
– 미국 : 12년부터 연간 2억 달러 이상투입, (빅데이터 R&D 계획)
– UN : 정책의 수립 및 집행에 빅 데이터 활용
7
빅데이터 투자 (미국)
빅데이터 투자 (국내)

8. 빅 데이터 동향 : 주요기업 (서비스)
8

9. 빅 데이터 동향 : 주요기업 (데이터 분석)
 IBM
– 지난 5년간 140억 달러 이상을 투자, 네티자, 에센셜, 코그너스 등 데이터 저
장/분석 업체를 인수하면서 빅 데이터 기술력 확보에 주력
 SAS
– 전세계 비즈니스 분석 소프트웨어 및 서비스 분야의 리더
– SAS Visual Analytics software demo
 ORACLE
– 하이페리온사 인수하여 데이터 분석 기술 확보
– SUN 인수하여 하드웨어 기술과 자사 주력분야인 DB S/W를 결합한 빅 데이
터 어플라이언스를 개발하고 출시하였다.
9

10. 빅 데이터 동향 : 신조어 (어플라이언스)
 어플라이언스
– H/W와 S/W를 결합하여, 업무목적에 맞게 최적화시킨 통합시스템
 빅 데이터 어플라이언스
– 빅 데이터 S/W (예 : 하둡) + H/W
– 예 : 오라클 빅 데이터 어플라이언스 , LG CNS의 SBP Appliance
10
어플라이언스 (SW+HW의 통합 생테계) 빅 데이터 어플라이언스

11. 목차
 빅 데이터 개요
 빅 데이터 동향
 빅 데이터 분석
 빅 데이터 활용
11

12. 빅 데이터 분석 : 질문
12
나란히 진열된 기저귀와 맥주, 비밀은「데이터마이닝」 - ZD Net Korea
대형할인점에서 유아용 기저귀와 함께
가장 잘 팔리는 제품은 무엇일까?

13. 빅 데이터 분석 : 두 가지 목적
 두번째 목적 : 통찰력 얻기
– 데이터 마이닝 방법
 연관규칙 찾기 (예 : 맥주와 기저기)
– 통계적 방법을 통한 분석 및 예측
 범죄지역 예측 / 이현봉 교수
 다음의 빅데이터 분석사례 (10m)
 당신의 욕망이 보인다. / 소셜 매트릭스
13
 첫번째 목적 : 서비스
 추천서비스 (아마존, 페이스북 친구추천)
 분류서비스 (감정분류)
 시리, 왓슨, 구글번역, 등
 음성인식
 딥 러닝(MIT 올해의 10대 혁신기술)
데이터 분석 후 시각화 (Visualization)
[인포그래픽] / R 등 이용
통계

14. 빅 데이터 분석 : 분석과정 및 방법
14

15. 빅 데이터 분석 : 분석을 위한 데이터 얻기
 공공 빅 데이터
– 특징 : 개방성 (상대적 가치)
– 얻을 수 있는곳
 세계 각국 기관에서 공개한 데이터 사용
– 예 : 공공 데이터 포털(https://www.data.go.kr/), http://data.seoul.go.kr/, Linked Open
Data, Etc
 데이터 예: 지하철 승하차 인원
 관련영상 : 내 삶은 바꾸는 데이터 혁명 (유주완 프로그래머 강연)
 비공공 빅 데이터
– 특징 : 폐쇄성 (상업적 이용, 가치가 있음)
– 얻을 수 있는 곳
 내부 비공개 데이터로 획득불가
15

16. 목차
 빅 데이터 개요
 빅 데이터 동향
 빅 데이터 분석
 빅 데이터 활용
16

17. 빅 데이터 활용 : 응용사례 (주요한)
17

18. 빅 데이터 활용 : 응용사례 (인공지능)
 IBM
– 왓슨
 Data : encyclopedias, dictionaries, thesauri, newswire articles, and literary
works. Watson also used databases, taxonomies, and ontologies.
Specifically, DBPedia, WordNet, and Yago were used.
18

19. 빅 데이터 활용 : 응용사례 (인공지능)
 구글
– 구글 무인자동차
 초당 1G 데이터 처리, 빅 데이터 수집 , 정리, 분석
 기사
– 빅 데이터 관리 (데이터 센터)
19

20. 빅 데이터 활용 : 응용사례 (분석 및 예측)
 Crimemapping.com
20
- 미국의 샌프란시스코에서 범죄 기록을 바탕으로, 범죄 발생지역 예측Minority Report
- Minority Report의 범죄예측이 현실에 가까워 지고 있음

21. 감사 드립니다.
21http://www.w3.org/wiki/SweoIG/TaskForces/CommunityProjects/LinkingOpenData