[빅데이터 분석 기사 필기 요약] 1.1.1 빅데이터의 이해 : 빅데이터 개요 및 활용

오늘 학습할 항목

• 빅데이터 개요 및 활용 : 01. 빅데이터의 특징
• 빅데이터 개요 및 활용 : 02. 빅데이터의 가치
• 빅데이터 개요 및 활용 : 03. 데이터 산업의 이해
• 빅데이터 개요 및 활용 : 04. 빅데이터 조직 및 인력

빅데이터의 등장 배경

 

- 기술발전에 따른 데이터 저장, 처리비용의 감소

- 실시간 서비스, SNS 서비스 등으로 디지털 정보량의 기하급수적 증가 (데이터 폭증, 데이터 홍수)

- 기존의 데이터 저장 관리 분석 기법의 한계

 

빅데이터의 개념

1. 위키피디아 : 기존 데이터베이스 관리 도구의 데이터 수집, 저장, 관리, 분석의 역량을 넘어서는 대량의 정형 또는 비정형 데이터 셋 및 이 데이터로 부터 가치를 추출하고 결과를 분석하는 기술

2. 국가전략위원회 : 대용량 데이터를 활용 분석하여 가치있는 정보를 추출하고 생선된 지식을 바탕으로 능동적으로 대응하거나 변화를 예측하기 위한 정보화 기술

3. 삼성경제연구소 : 기존의 관리 및 분석체계로는 감당할 수 없을 정도의 거대한 데이터의 집합으로 대규모 데이터와 관련된 기술 및 도구를 모두 포함한 개념

 

빅데이터의 구성

- 정형화된 정보(텍스트, 숫자)

- 비정화된 정보(소셜미디어, 실시간 데이터, 이미지 등)

 

빅데이터가 이슈화 되는 이유

- 스마트 기기 보급의 확산

- 클라우드 서비스

- SNS(실시간 소통)로 인한 정보유통구조의 재편

빅데이터의 특징

5V : 규모(Volumn), 다양성(Variety), 속도(Velocity), 정확성(Veracity), 가치(Value)

규모(Volumn)	기술, ICT 발전 ▶ 디지털 정보량 급증 ▶ 제타바이트(ZB) 시대 진입
다양성(Variety)	텍스트 외 비정형 데이터 종류 증가
속도(Velocity)	IoT, 실시간 정보 증가 ▶ 데이터 생성 및 이동 증가 ▶ 실시간 데이터 처리 분석 위한 속도의 중요성
정확성(Veracity)	방대한 데이터의 질이 데이터 분석 정확도에 영향을 미침
가치(Value)	빅데이터가 추구하는 것이 바로 가치. 빅데이터 분석 ▶ 통찰력 제공 ▶ 기업의 현실문제 해결 도움

기존의 데이터 처리 방식과 빅데이터의 처리 방식 비교

구분	기존 DBMS에 의한 데이터 처리 방식	빅데이터 처리 방식
데이터 트래픽	TB(테라바이트)	PB(페타바이트) 방대한 데이터 처리량 장기간의 정보 수집 분석
데이터 유형	정형 데이터 중심 (로그 데이터, 구매 기록 등)	비정형 데이터 비중 증대 (SNS, 위치, 센서 등)
프로세스, 기술	단순 프로세스 및 기술 정형화된 처리 및 분석 과정 원인 및 결과 규명 중심	다양한 데이터 소스 및 복잡한 로직 처리 데이터 처리 복잡도가 높아 분산처리 기술 필요 새롭고  다양한 처리 방법 개발 필요 데이터 들의 상관관계 규명 중심 개방형 SW (하둡,R,NoSQL 등)

 

빅데이터의 가치

배경 : 데이터 급증, 비정형 데이터 증가 ▶ 데이터 처리 복잡도 증가 ▶ 데이터 저장, 처리, 관리 비용 급증

빅데이터 투입 가치

21세기의 원유인 데이터는 혁신, 경쟁력, 생산성의 핵심 요소

미래 경쟁 우위를 결정할 요소

빅데이터 활용 가치

- 기업측면의 가치 : 비용 절감, 의사결정 고도화, 고객 성향 파악, 정확한 미래예측 등. 최근 빅데이터를 가치 및 경쟁 우위의 원천으로 인식

- 최근 추세 : 경제적 가치 추출하는 기술, 아키텍처로 빅데이터 의미 확장

빅데이터의 사회 경제적 가치

- 전 분야에 걸쳐 가치있는 정보를 제공할 가능성을 제시

- 다변화된 현대 사회를 정확하게 예측 ▶ 효율적 작동

- 개인화된 맞춤형 정보 제공

- 산업 경쟁력 제고, 생산성 향상, 혁신을 위한 가치 창출할 것으로 전망

 

맥킨지에서 바라본 빅데이터의 사회 경제적 가치

구분	주요 내용
산업의 투명성 증대	시기적절한 빅데이터 제공 ▶ 검색, 처리 시간 절감
소비자 니즈 발견 트렌드 예측 성과 향상을 위한 실험	기업들의 방대한 거래 데이터 축적 ▶ 더 정확한 성과 데이터 수집 가능 자연 발생 실험, 통제 실험에서의 원인 결과 분석에 데이터 이용 가능
소비자 맞춤형 비즈니스를 위한 고객 세분화	구체적인 고객 분류 ▶ 고객 맞춤형 서비스 제공
자동 알고리즘을 통한 의사 결정 지원과 대행	정교한 분석 ▶ 의사결정 향상, 위험 감소, 인사이트 발굴
비즈니스 모델, 상품 ,서비스 혁신	상품/서비스 개발, 기존 상품/서비스 향상, 새 비즈니스 모델 설계

 

사회경제적 측면에서의 빅데이터의 가치

구분	주요 내용
천연자원	가치와 가능성 사회적 현안과 위험 해결 경제적 가치의 원천 데이터 골드러시, 데이터 마이닝
새로운 재난	정보 범람으로 규정 준수 어려움 폭증한 데이터로 인한 ICT 예산 증가 ▶ 다른 분야 예산 감소 데이터 처리의 낮은 응답 속도 ▶ 기업의 생산성 저하 데이터 토네이도, 데이터 홍수
산업적 도구	데이터의 효율적 관리 및 분석 ▶ 기업의 경쟁 우위 확보 데이터 신속 처리 ▶ 의사결정 지원 데이터 분석 역량 == 기업 경쟁령 데이터 산업 혁명

가치 측정 이슈

하단과 같이 측정 방식에 따라 가치가 달라지기 때문에 빅데이터를 통한 데이터 가치 측정이 어려움

 

데이터 활용 방식

재사용 및 재조합, 다목적용으로 데이터 개발 등이 보편화 ▶ 특정 데이터가 언제, 어디서, 어떻게, 누가 활용하는지 예측하기 어려움 ▶ 가치 산정 어려워짐

 

가치 창출 방식

창의적인 데이터 조합 ▶ 기존 문제 해결 도움

 

분석 기술 발전

저렴한 비용의 클라우드 컴퓨팅을 통해 빅데이터 분석 가능

 

빅데이터 가치 산정 프레임 워크

가트너가 제시한 빅데이터의 특징인 3V를 어떻게 처리,정의하느냐에 따라 가치가 결정.

새로운 부가가치를 창출하려면 데이터의 다양성이 아닌 데이터의 처리,활용인 적응성 확보가 더 중요.

가치는 데이터 자체가 아닌 데이터 분석을 통한 적응성을 통해 창출하는 것.

 

데이터 산업의 이해

데이터 산업의 진화 (데이터 산업 백서)

 

데이터처리 시대

- 프로그래밍을 통해 대규모 데이터를 정확, 빨르게 처리하게 된 첫 시대

- 데이터는 업무 처리의 대상으로만 사용.

- 새로운 가치 제공은 못함

- File 형태로 보관

 

데이터 통합 시대

- 기업에서 활용한 컴퓨터 등의 IT기술에서 많은 양의 데이터 생성 및 축적

 

 

- 문제점 : 데이터 간의 낮은 호환성, 데이터의 낮은 일관성

 

 

- 해결책 : 데이터 모델링, 데이터베이스 관리 시스템(DBMS)의 등장

• 데이터 모델링 : 데이터 일관성 유지위한 설계 기법
• 데이터베이스 관리시스템(DBMS) : 데이터에 적용되는 비즈니스 규칙을 정의하고 구현하기 위해 정교하게 설계된 SW

 

- DBMS 데이터 통합 

• BPR
• CRM
• ERP
• SCM

 

- 데이터 통합 담당 역할

• 데이터 모델러
• 데이터 아키텍트
• 데이터베이스 관리자

 

이를 통해, 데이터 통합 시대의 데이터는

- File system이 아닌 DBMS에 보관

- 데이터 조회, 보고서 산출, 원인 분석을 위한 웨어하우스 도입

 

데이터 분석 시대

- 폭발적인 데이터의 증가 ▶ 다양한 분석 기법의 등장 ▶ 데이터 분석을 통한 통찰력(insight) 발견 ▶ 성과 창출

- 마켓플레이스의 역할

• 구조적 데이터를 보관하는 데이터웨어하우스, 비구조적 데이터 관리하는 데이터 레이크의 데이터 카탈로그 정보를 제공
• 필요한 데이터를 확보하는 큐레이션 기능 지원

데이터 연결 시대

- 4차 산업 혁명의 핵심은 DNA(Data, Network, AI)

- 특히 초지능, 초연결, 초융합이 중요

• 초지능 : AI기술로 구현된 사물이 프로그래밍을 통해 학습된 자동화 수준을 넘어 사물, 사람과 상호작용하며 스스로 판단, 행동하는 유사 인간 지능, 그 이상의 인공지능
• 초연결 : IoT, 클라우드, 블렉체인 등 사물과 사물 혹은 사물과 사람 간에 안전하고 효율적인 데이터를 공유하고 높은 수준의 서비스를 제공할 수 있는 연결을 의미
• 초융합 : 새로운 방식으로 최적의 사용자 경험을 제공하는 사이버물리시스템 또는 온오프라인 통합 환경을 제공하는 다양한 기술의 융합

- 플랫폼 비즈니스 모델의 기본 : 노드 간의 상호작용을 데이터로 축적 ▶ 데이터 분석 ▶ 노드 간 상호작용 강화

- open API

• open API경제는 데이터 경제의 데이터 연결을 의미
• open API 연결을 위해선 open 데이터 플랫폼이 필요
• open 데이터 플랫폼을 통해 외부의 파트너 및 third party와 데이터 기반 협업 가능

빅데이터 조직 및 인력

빅데이터를 성공적으로 활용하기 위한 3대 요소

- 자원 : 자원 확보, 품질 관리

- 기술 : 빅데이터 플랫폼, 분석 기술, 분석 기법

- 인력 : 빅데이터 사이언티스트

[빅데이터 분석 기사 필기 요약] 1.1.2 빅데이터의 이해 : 데이터 산업의 이해, 빅데이터 조직 및 인력.

[빅데이터 분석 기사 필기 요약] 1.2.1 데이터 분석 계획 : 데이터 분석 방안 수립