[빅분기] CH01.빅데이터의 이해_빅데이터 개요 및 활용_240306

24.03.06

 

2) 빅데이터의 특징

- 빅데이터 용어가 사용된 초기에 가트너 그룹은 3V(규모, 유형, 속도)로 특징을 설명 ! **구분할 줄 알아야 함

광의	협의	특징	내용
5V	3V	규모(Volume)	- 데이터 양이 급격하게 증가(대용량화) - 기존 데이터 관리 시스템의 성능적 한계 도달
		유형(Variety)	- 데이터의 종류와 근원 확대(다양화) - 정형 데이터 외 반정형 및 비정형 데이터로 확장
		속도(Veolocity)	- 데이터 수집과 처리 속도의 변화(고속화) - 대용량 데이터의 신속하고 즉각적인 분석 요구
	(+2V)	품질(Varecity)	- 데이터의 신뢰성, 정확성, 타당성 보장이 필수 - 고품질의 데이터에서 고수준 인사이트 도출 가능
		가치(Value)	- 대용량의 데이터 안에 숨겨진 가치 발굴이 중요 - 대른 데이터들과 연계 시 가치가 배로 증대

 

<전통적 데이터 vs 빅데이터>

	전통적 데이터	빅데이터
규모	기가바이트 이하	테라바이트 이상
처리단위	시간 또는 일 단위 처리	실시간 처리
유형	정형 데이터	정형+반정형, 비정형 데이터
처리방식	중앙집중식 처리	분산 처리
시스템	Relational DBMS	Hadoop, HDFS, Hbase, NoSQL

 

3) 빅데이터의 활용

- 빅데이터 활용을 위한 3요소: 자원(빅데이터) / 기술(빅데이터플랫폼, AI) / 인력(알고리즈미스트, 데이터사이언티스트)

- 빅데이터의 활용을 위한 기본 테크닉
: 연관규칙학습 / 유형분석 / 유전 알고리즘 / 기계학습 / 회귀분석 / 감정분석 / 소셜네트워크(사회관계망)분석

 

 

04. 빅데이터의 가치

1) 빅데이터의 기능과 효과

- 빅데이터는 이를 활용하는 기존 사업자에게 경쟁 우위를 제공함

: 시장 진입하려는 잠재적 경쟁자에게는 진입장벽 형성

: 고객 세분화와 맞춤형 개인화 서비스 제공 가능

: 시뮬레이션을 통한 수요 포착, 변수 탐색으로 경쟁력 강화, 비즈니스 모델이나 제품 또는 서비스 혁신 가져옴

- 알고리즘 기반으로 의사결정을 지원하거나 이를 대신함

- 투명성을 높여 R&D 및 관리 효율성을 제고

 

2) 빅데이터의 가치 측정의 어려움

① 데이터 활용 방식  ② 가치 창출 방식 ③ 분석 기술 발전 ④ 데이터 수집 원가

 

3) 빅데이터의 영향

- 기업에게 혁신과 경쟁력 강화, 생산성 향상의 근간

- 정부에게 환경 탐색과 상황 분석, 미래 대응 수단 제공

- 개인에게 활용 목적에 따라 스마트화를 통해 영향

 

05. 데이터 산업의 이해

1) 데이터 산업의 진화

: 데이터 처리 - 통합 - 분석 - 연결 - 권리 시대로 진화하고 있음

 

① 데이터 처리 시대: 결과를 파일 형태로 보관, 데이터가 새로운 가치를 제공하지는 않았음

② 데이터 통합 시대: 데이터 모델링과 데이터베이스 관리 시스템이 등장

③ 데이터 분석 시대: 빅데이터 기술이 등장 데이터 리터러시 프로그램 중요성도 커짐

④ 데이터 연결 시대: 모든 것이 연결 되어 있으며 네트워크를 만들고 새로운 비즈니스 모델을 탄생시킴

⑤ 데이터 권리 시대: 개인이 자신의 데이터를 자신을 위해 사용, 자신의 데이터에 대한 권리 보유, 마이데이터가 등장

 

2) 데이터 산업의 구조

① 인프라 영역 ② 서비스 영역

 

06. 빅데이터 조직 및 인력

1) 필요성

- 데이터 분석 관점의 컨트롤 타워에 대한 필요성 제기

2) 조직의 역할

- 분석 업무 발굴, 빅데이터 속 인사이트 찾아냄, 전파 이를 실행

3) 조직의 구성

- 전문인력 중심으로 구성

① 집중형 ② 기능형 ③ 분산형

- 분석 전담조직 필요 집단: 집중형, 분산형

 

4) 데이터 사이언스 역량

- 분석적 영역, 데이터 처리 관련 IT 영역, 비즈니스 컨설팅 영역

 

① 데이터 사이언스의 기능: 비즈니스 성과 좌우하는 핵심이슈에 답 가능, 사업 성과 견인

② 데이터 사이언스 실현 위한 인문학적 요소: 스토리텔링, 커뮤니케이션, 창의력과 직관력, 비판적 시각과 열정

③ 한계: 인간의 해석 개입되는 단계 불가피, 서로 다른 해석과 결론, 모든 분석으느 가정에 근거함

 

5) 데이터 사이언티스트

- 다각적 분석을 통해 인사이트 도출 -> 이를 전략 방향 제시에 활용할 수 있는 기획자

- 문제를 집중적으로 파고들어 질문을 찾고, 검증 가능한 가설을 세워야 함

 

 

 

예상문제 오답노트

03) 반정형 데이터: XML File, JSON File, HTML File / 비정형 데이터: TEXT File

05) 정보의 특징: 정확성, 적정성(적당성), 관련성, 적시성 (일관성은 특징 아님!!)

07) 지식창조 매커니즘 단계: 공통화, 표출화, 연결화, 내면화

08) 데이터 웨어하우스 특징: 주제지향성, 통합성, 시계열성, 비휘발성