[빅분기] CH2. 데이터 분석 계획_분석 작업 계획_240313
24.03.13
01. 분석 작업 개요
1) 데이터 처리 영역
- 데이터 분석을 위한 기초 데이터를 정의, 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역
- 데이터 소스 / 데이터 수집 / 데이터 저장 / 데이터 처리
2) 데이터 분석 영역
① 데이터 분석: 저장된 데이터를 추출 및 가공해 목적에 맞는 분석 방법 통해 분석
<데이터 분석 단계 - NCS>
도메인 이슈 도출 / 분석목표 수립 / 프로젝트 계획 수립 / 보유 데이터 자산 확
② 데이터 표현: 분석된 겨로가를 누구나 쉽게 이해할 수 있도록 적합한 시각화 방법 이용해 표현
02. 데이터 확보 계획
1) 데이터 확보를 위한 사전 검토사항
① 필요 데이터의 정의
② 보유 데이터의 현황파악
③ 분석 데이터의 유형
④ 편향되지 않고 충분한 양의 데이터 규모
⑤ 내부 데이터이 사용: 개인정보일 경우 비식별 조치방안을 함께 고려
⑥ 외부 데이터의 수집
⑦ 데이터 수집 방법
- 설문조사 / 관찰 / 실험 / 웹 크롤링 / 소셜 미디어 분석 / 데이터베이스 및 기존 데이터 활용 / FGI / 스크래퍼
2) 분석에 필요한 변수 정의
① 데이터 수집 기획
② 분석변수 정의
3) 분석 변수 생성 프로세스 정의
① 객관적 사실(Fact) 기반의 문제 접근
② 데이터의 상관 분석
③ 프로토타입을 통한 분석 변수 접근
- 프로토타입 접근의 필요성: 문제 인식 수준의 확인 / 필요 데이터 존재 여부 / 사용 목적에 따른 가변성 검증
4) 생성된 분석 변수의 정제를 위한 점검항목 정의
- 개념적 대안 설계를 통해 도출된 데이터에 대해 가용성을 평가하고 점검항목을 정의
① 분석 변수 점검의 필요성
② 분석 변수 점검항목 정의
- 데이터 수집: 데이터 적정성 / 데이터 가용성 / 대체 분석 데이터 유무
- 데이터 적합성: 데이터 중복 / 분석 변수별 범위 / 분석 변수별 연관성 / 데이터 내구성
- 특징 변수: 특징 변수 사용 / 변수 간 결합 가능 여부
- 타당성: 편익/비용 검증 / 기술적 타당성
5) 생성된 분석 변수의 전처리 방법 수립
① 데이터 전처리 수행: 데이터 정제 / 통합 / 축소 / 변환
② 빅데이터 분석 프로세스 수행
③ 데이터 전처리 방안 수립
- 정제: 모슨점 포착 / 메타데이터 확인
- 통합/축소: 데이터 통합
- 변환: 데이터 변환
6) 생성 변수의 검증 방안 수립
① 분석 변수의 데이터 검증 방안 수립
대량 데이터 / 정밀 데이터 / 데이터 출처 불명확
정확성 / 완전성/ 적시성 / 일관성
② 데이터 검증 체계 수립
03. 분석 절차와 작업 계획
1) 분석 절차
① 분석 절차의 특징
- 분석 방법론을 구성하는 최소 요건
| 일반적 데이터 분석 절차 | NCS 데이터 분석 절차 | 단계별 산출물 |
| - 문제인식 - 연구조사 |
- 도메인 이슈 도출 - 분석목표 수립 |
- 데이터 요건 정의서 - 분석목표 정의서 |
| - 모형화 - 데이터 수집 - 데이터 분석 |
- 프로젝트 계획 수립 - 보유 데이터 자산 확인 |
- 작업문할구조도(WBS) - 데이터 품질 보고서 |
| - 분석 결과 제시 | - 데이터 분석결과 시각화 | - 분석 보고서 |
② 일반적인 문석 절차
③ 분석 절차 적용 시 고려사항
- 문제에 대한 구체적 정의가 가능, 필요 데이터 보유, 분석역량 갖추고 있어야 함!
- 문제에대한 구체적 정의가 없다면 데이터 마이닝 기반으로 데이터를 분석해 인사이트 발굴
2) 작업 계획
① 분석 작업 계획 수립
프로젝트 소요비용 배분 / 프로젝트 작업분할구조 수립 / 프로젝트 업무 분장 계획 및 배분
② 분석 작업 계획 수립을 위한 작업분할구조(WBS: Work Breakdown Structure) 작성
데이터 분석과제 정의 / 데이터 준비 및 탐색 / 데이터 분석 모델링 및 검증 / 산출물 정리
3) 분석목표정의서
① 분석목표정의서 구성요소
- 원천 데이터 조사: 정보, 데이터 수집 난이도
- 분석 방안 및 적용 가능성 판단
- 성과평가 기준: 정성적, 정량적 평가
② 분석목표정의서 작성 방법: 분석 목적을 설정하고 이를 달성하기 위한 세부 목표를 수립
필요한 데이터 정의, 분석 방법과 데이터 수집 및 분석 난이도, 수행 주기, 분석 결과에 대한 검증 기준을 설계, 도메인 이슈 도출을 통한 개선 방향 토대로 목표 수준 정리
04. 분석 프로젝트 관리
1) 분석 프로젝트
① 분석 프로젝트의 특징: 데이터 영역과 비즈니스 영역에 대한 이해 모두 필요, 지속적인 개선 및 변경을 염두에 두기!
② 분석 프로젝트의 추가적 속성
: 데이터 크기(지속적으로 생성되어 증가), 데이터 복잡도(다양한 데이터 많음), 속도, 분석 모형의 복잡도, 정확도와 정밀도
③ 분석가의 역할
2) 분석 프로젝트 관리
① 효율적인 데이터 분석 수행을 위한 필요성
② 분석 프로젝트의 관리 방안
3) 분석 프로젝트의 영역별 주요 관리 항목
① 범위 관리 ② 일정 관리 ③ 원가 관리 ④ 품질 관리 ⑤ 통합 관리
⑥ 조달 관리 ⑦ 인적자원 관리 ⑧ 위험 관리 ⑨ 의사소통 관리 ⑩ 이해관계자 관리