리니의 끄적끄적 리니의 끄적끄적

24.03.10 01. 데이터 분석데이터 분석은 대용량의 데이터 집합으로부터 유용한 정보를 찾고 결과를 예측하기 위해 목적에 따라 분석기술과 방법론을 기반으로 정형, 비정형 대용량 데이터를 구축, 탐색, 분석하고 시각화를 수행하는 업무 1) 데이터 분석의 현황빅데이터를 활용하기 위한 장애물은 비용보다 데이터 분석을 수행하기 위한 반석적 방법과 성과에 대한 이해의 부족 2) 데이터 분석의 지향점① 전략적 통찰이 없는 데이터 분석 배제② 일차원적인 데이터 분석 지양③ 전략 도출을 위한 가치 기반 데이터 분석 지향 3) 데이터 분석에 대한 회의론솔루션을 도입한 후 어떻게 활용해 가치 창출할 수 있을지 다시 또 과제 수행해야 하는 상황 반복, 고가의 솔루션 방치하고 있음 4) 데이터 분석 시 고려사항데이터 분석..

24.03.10 01. 빅데이터 플랫폼빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공 1) 빅데이터 플랫폼의 등장배경① 비즈니스 요구사항 변화  ② 데이터 규모와 처리 복잡도 증가 ③ 데이터 구조의 변화와 신속성 요구 ④ 데이터 분석 유연성 증대- 다양한 방법론을 통해 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석 가능해짐 2) 빅데이터 플랫폼의 기능① 컴퓨팅 부하 발생  ② 저장 부하 발생 ③ 네트워크 부하 발생 3) 빅데이터 플랫폼의 조건- 서비스 사용자와 제공자 어느 한쪽에 치우쳐서는 안 됨 4) 빅데이터 플랫폼의 구조① 소프트웨어 계층데이터 처리 및 분석 엔진 / 데이터 수집 및 정제 모듈 / 서비스 관리 모듈 / 사용자 관리 모듈 / 모니터링 모듈 / 보안 모듈  ..

24.03.06 2) 빅데이터의 특징- 빅데이터 용어가 사용된 초기에 가트너 그룹은 3V(규모, 유형, 속도)로 특징을 설명 ! **구분할 줄 알아야 함광의협의특징내용5V3V규모(Volume)- 데이터 양이 급격하게 증가(대용량화)- 기존 데이터 관리 시스템의 성능적 한계 도달유형(Variety)- 데이터의 종류와 근원 확대(다양화)- 정형 데이터 외 반정형 및 비정형 데이터로 확장속도(Veolocity)- 데이터 수집과 처리 속도의 변화(고속화)- 대용량 데이터의 신속하고 즉각적인 분석 요구(+2V)품질(Varecity)- 데이터의 신뢰성, 정확성, 타당성 보장이 필수- 고품질의 데이터에서 고수준 인사이트 도출 가능가치(Value)- 대용량의 데이터 안에 숨겨진 가치 발굴이 중요- 대른 데이터들과 연계..

24.03.05CH 01. 빅데이터의 이해Section 01 빅데이터 개요 및 활용01. 데이터와 정보1) 데이터의 정의: 추론과 추정의 근거 이루는 사실, 현실 세계에서 관찰, 측정하여 수집한 사실 2) 데이터의 특징: 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 가짐 3) 데이터의 구분 ① 정량적 데이터: 주로 숫자② 정성적 데이터: 문자와 같은 텍스트로 구성, 함축적 의미 지님 4) 데이터의 유형① 정형 데이터 / ② 반정형 데이터 / ③ 비정형 데이터 5) 데이터 근원에 따른 분류- 데이터의 재생산 과정으로 볼 수 있음① 가역 데이터: 환원 가능, 비가공 데이터, 원본 데이터 그 자체, 1대1, 탐색 처리과정② 불가역 데이터: 환원 불가능, 가공 데이터, 원본과 독립..