[빅데이터 분석기사] [1-3] 데이터 분석 계획 - 분석 방안 수립

▶데이터 분석

:인사이트를 발굴하고 이를 공유하여 의사결정을 지원하는것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정

 1)데이터 분석의 현황

• 대다수 기업들은 빅데이터가 갖고있는 잠재력을 규명하는 초기 프로젝트에 머무름
• 분석적 방법과 성과에 대한 이해의 부족

2)데이터 분석의 지향점

1. 전략적 통찰이 없는 데이터 분석 배제
2. 일차원적인 데이터 분석 지양
3. 전략 도출을 위한 가치 기반 데이터 분석 지향

3)데이터 분석에 대한 회의론

• 솔루션을 도입한 후 어떻게 활용하여가치를 창출할 수 있을지 과제를 수행하는 상황에서 방치
• 현재 소개되고 있는 빅데이터 분석 성공사례들의 대다수가 기존 데이터 분석 프로젝트를 재포장한 경우임

4)데이터 분석시 고려사항

• 데이터 분석은 규모가 아니라 어떤 시각과 통장을 얻을 수 있는가의 문제
• 시장과 고객 변화에 효과적으로 대응하는 것이 중요

▶데이터 분석 기획

:의도했던 결과를 도출할 수 있도록 관리할 수 있는 방안을 사전에 계획하는 작업

1)분석 기획의 특징

1. 분석 대상과 방법에 따른 분류

데이터 분석 주제 유형

 2. 목표 시점에 따른 분류

• 단기적 접근 방식(과제 중심) - Quick - Win 방식으로 분석
• 중장기적 접근 방식(마스터 플랜 접근) - 전사적으로 장기적 관점에서 과제를 도출하여 수행
• 혼합 방식(분석 기획 시 적합) - 마스터 플랜을 수립하고 장기적 관점에서 접근하는 것이 바람직

2)분석 기획 시 필요역량

1. 분석 기획을 위한 기본적인 소양
   • 도메인 지식, 정보기술, 수학 및 통계학적 지식이라는 3가지 역량에 대한 균형 잡힌 시각을 갖고서 분석의 방향성과 계획을 수립
2. 프로젝트 관리 역량과 리더십
   • 3가지 소양과 함께 프로젝트 관리 역량과 분석 프로젝트를 잘 이끌어 갈 리더십이 중요

3)분석 기획시 고려사항

1. 사용 가능한 데이터 확인
2. 적합한 사례 탐색
3. 분석 수행시 발생 가능한 요소 고려

 

▶분석 마스터 플랜과 로드맵 설정

1)분석 마스터 플랜

:과제의 목적이나 목표에 따라 전체적인 방향성을 제시하는 기본 계획

1. 분석 마스터플랜 수립 절차
   • 데이터 분석 과제들을 빠짐없의 정의
   • 중요도와 난이도를 고려하여 우선순위 결정
   • 단기와 중장기로 나누어 분석 로드맵 수립
2. 정보전략계획(ISP: Information Strategy Planning)
   • 정보기술 및 시스템을 전략적으로 활용하기 위한 중장기 마스터 플랜을 수립하는 절차
   • 새로운 기회나 문제점을 도출
   • 시스템 구축 우선순위 결정

2)분석 과제 우선순위 평가기준

1. IT 프로젝트의 과제 우선순위 평가기준
   • 전략적 중요도
   • 실행 용이성
2. 데이터 분석 프로젝트의 우선순위 평가기준
   • 투자비용 요소
   • 비즈니스 효과
3. 분석 ROI요소를 구려한 과제 우선순위 평가기준
   • 시급성 - 전략적 중요도, 목표가치(KPI)
   • 난이도 - 데이터 획득/가공/저장 비용, 분석 수준 등 

3) 분석 과제 우선순위 선정 및 조정

1. 포트폴리오 사분면 분석 기법 활용 : 난이도와 시급성을 기준으로 분석 과제 유형을 4분면에 배치

 

 2. 매트릭스 내 분석 과제 우선순위 선정

• 가장 우선적으로 분석 과제 적용이 필요한 영역 → 3사분면
• 우선순위가 낮은 영역 → 2사분면
• 적용 우선순위 기준 시급성 → 3 - 4 - 1 - 2
• 적용 우선순위 기준 난이도 → 3 - 1 - 4 - 2

  3. 매트릭스 내 분석 과제 우선순위 조정 가능  4. 분석 과제 우선순위 조정시 고려사항

• 기술적 요소에 따른 적용 우선순위 조정
• 분석 범위에 따른 우선순위 조정

4)분석 로드맵 설정

1. 분석 로드맵 수립 절차
   • 우선순위를 결정하여 단계적 구현 로드맵 수립
   • 단계별 추진하고자 하는 목표를 명확하게 정의
   • 단계별 추진 내용을 정렬
2. 세부적인 일정계획 수립
   • 반복적인 정련과정을 통해 프로젝트의 완성도를 높여 나감
   • 데이터 수집 및 확보와 분석 데이터 준비 단계는 순차적으로 진행
   • 순차형과 반복형을 혼합하여 사용

▶분석 문제 정의

1)분석 문제 정의 개요

1. 분석 과제 도출
2. 대표적인 분석 과제 도출 방법 - 하향식 접근 방식(문제가 주어지고 해법을 찾아가는 방식), 상향식 접근 방식(데이터를 기반으로 문제의 재정의 및 해결방안 탐색)
3. 최적의 의사결정을 위한 혼합방식
   • 동적인 환경에서 발산과 수렴 단계를 반복적으로 수행하여 상호 보완을 통해 분석의 가치 극대화
   • 상향식 접근 방식 : 가능한 옵션 도출
   • 하향식 접근 방식 : 도출된 옵션을 분석하고 검증
4. 분석 과제 정의
   • 다양한 방식으로 도출한 분석 과제들을 명확하게 정의하여 작성
   • 분석 프로젝트를 수행하는 이해관계자가 프로젝트의 방향을 설정하고 성공 여부를 판단할 수 있는 자료로 사용

2)하향식 접근 방식(Top Down Approach)

1. 문제 탐색 
2. 문제 정의
3. 해결방안 탐색
4. 타당성 평가

3)하향식 접근 방식의 문제 탐색 방법

1. 비즈니스 모델 캔버스를 활용한 과제 발굴
   • 업무단위(Operation) : 내부 프로세스 및 주요 자원과 관련하여 주제 도출
   • 제품단위(Product) : 생산 및 제공하는 제품이나 서비스를 개선하기 위한 주제 도출
   • 고객단위(Cusomer) : 제품이나 서비스를 제공받는 사용자나 고객 또는 이를 제공하는 채널관점에서 주제 도출
   • 규제와 감사 영역(Audit & Regulation) : 제품 생산과 전달 과정에서 발생하는 규제나 보안 관점에서 주제 도출
   • 지원 인프라 영역(IT & Human Resource) : 시스템영역과 이를 운영 및 관리하는 인력의 관점에서 주제 도출
2. 분석 기회 발굴의 범위 확장
   • 거시적 관점 - 사회 , 기술, 경제, 환경, 정치 영역
   • 경쟁자 확대 관점 - 대체재, 경쟁자, 신규 진입자 영역
   • 시장의 니즈 탐색 관점 - 고객, 채널, 영향자들 영역
   • 역량의 재해석 관점 - 내부 역량, 파트너와 네트워크 영역

4)상향식 접근 방식(Bottom Up Approach)

1. 상향식 접근기반 전통적 분석 사고 극복방안
   • 디자인 사고 접근법 : 현장 관찰과 감정이입, 대상 관점으로의 전환을 수행
   • 비지도학습 방법에 의한 수행 : 목표값을 사전에 학습하거나 정의하지 않고 데이터 자체만으로 결과를 도출
   • 빅데이터 환경에서의 분석 : 인과관계 분석을 위해 가설 설정하고 이를 검증하기 위해 모집단으로부터 표분 추출
2. 상향식 접근 방식의 문제 해결 방법
   • 프로토타이핑 접근법 : 분석을 시도해 보고 그 결과를 확인하면서 반복적으로 개선해 나가는 방식

▶데이터 분석방안

1)분석 방법론

1. 분석 방법론의 구성요건
   • 상세한 절차(Procedures)
   • 방법(Methods)
   • 도구와 기법(Tools & Techniques)
   • 템플릿과 산출물(Templates & Outputs)
   • 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도
2. 분석 방법론의 생성과정(선순환)

2)계층적 프로세스 모델 구성

1. 최상위 계층 - 단계(Phase)
2. 중간 계층 - 태스트(Task)
3. 최하위 계층 - 스탭(Step)

3)소프트웨어개발생명주기 활용

• 구성요소 (계획 - 요구분석 - 설계 - 구현 - 시험 - 유지보수)

1. 폭포수 모형(Waterfall Model) : 분석, 설계, 개발, 구현, 시험 및 유지보수 과정을 순차적으로 접근하는 방법
2. 프로토 타입(Prototype Model) : 일시적으로 간략히 구현한 다음 다시 요구사항을 반영하는 과정을 반복
3. 나선형 모형(Spiral Model) : 점진적으로 완벽한 시스템으로 개발 하는 모형
4. 반복적 모형(Iterative Development Model) : 일부분을 반복적으로 개발하여 최종 시스템으로 완성
   • 증분형 모형(Incremental Model) : 일부분을 반복적으로 개발하여 대상범위를 확대해 최종제품을 완성하는 방법
   • 진화형 모형(Evolution Model) : 핵심부분을 개발한 후 구성요소를 지속적으로 발전시켜 나가는 방법
5. 소프트웨어개발생명주기 모형 선정 기준
   • 프로젝트의 규모와 성격
   • 개발에 사용되는 방법과 도구
   • 개발에 소요되는 시간과 비용
   • 개발과정에서의 통제수단과 소프트웨어 산출물 인도 방식

4)KDD 분석 방법론

:KDD(Knowledge Discovery in Database)는 통계적인 패턴이나 지식을 탐색하는 데 활용 할 수 있도록 체계적으로 정리한 프로파일링 기술 기반의 데이터 마이닝 프로세스

1. KDD 분석 방법론의 9가지 프로세스
   • 분석 대상 비즈니스 도메인의 이해
   • 분석 대상 데이터셋 선택과 생성
   • 데이터에 포함되어 있는 잡음과 이상값 등을 제거하는 정제작업이나 선처리
   • 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하는 데이터 변경
   • 분석 목적에 맞는 데이터 마이닝 기법 선택
   • 분석 목적에 맞는 데이터 마이닝 알고리즘 선택
   • 데이터 마이닝 시행
   • 데이터 마이닝 결과에 대한 해석
   • 데이터 마이닝에서 발견된 지식 활용
2. KDD 분석 방법론의 분석절차
   • 데이터셋 선택
   • 데이터 전처리
   • 데이터 변환
   • 데이터 마이닝
   • 데이터 마이닝 결과 평가 

5)CRISP-DM 분석 방법론

:CRISP-DM(Cross Industry Standard Process for Data Mining)은 계층적 프로세스 모델로써 4계층으로 구성된 데이터 마이닝 프로세스

1. 4계층
   • 최상위 레벨 : 여러 개의 단계(Phases)로 구성
   • 일반화 태스크 : 데이터 마이닝의 단일 프로세스를 수행하는 단위
   • 세분화 태스크 : 일반화 태스크를 구체적으로 수행
   • 프로세스 실행 : 데이터 마이닝을 구체적으로 실행
2. 분석절차
   • 업무이해 - 데이터 이해 - 데이터 준비 - 모델링 - 평가 - 전개

6)SEMMA 분석 방법론

:SEMMA(Sample, Explore, Modify, Model and Assess)는 SAS Institute의 주도로 만들어진 기술과 통계 중심의 데이터 마이닝 프로세스

1. 특징
   • 데이터 마이닝 프로젝트의 모델링 작업에 중점을 둠
2. 분석절차
   • 추출(Sample) - 탐색(Explore) - 수정(Modify) - 모델링(Model) - 평가(Assess)

▶빅데이터 분석 방법론

1)빅데이터 분석 방법론 개요

:응용 서비스 개발을 귀한 3계층으로 구성됨

• 단계(Phase) - 데이터 분석을 수행하기 위한 절차
• 태스크(Task) - 각 단계별로 수행되어야 하는 세부 업무
• 스탭(Stemp) - 단기간 내에 수행 가능한 워크패키지. 입력자료, 처리 및 도구, 출력자료로 구성된 단위 프로세스
• 각 단계별로 세부 태스크와 스텝이 정의 되어 있다.

2)개발 절차  

1. 분석 기획
   • 비즈니스 이해 및 범위 설정 
   • 프로젝트 정의 및 계획 수립
   • 프로젝트 위험계획 수립
2. 데이터 준비
   • 필요데이터 정의
   • 데이터 스토어 설계
   • 데이터 수집 및 정합성 점검
3. 데이터 분석
   • 분석용 데이터 준비
   • 텍스트 분석
   • 탐색적 분석
   • 모델링
   • 모델 평가 및 검증
4. 시스템 구현
   • 설계 및 구현
   • 시스템 테스트 및 운영
5. 평가 및 전개
   • 모델 발전계획 수립
   • 프로젝트 평가 보고

 

▶데이터 분석 거버넌스

1)데이터 분석 거버넌스 개요

1. 필요성
   • • 데이터 분석 업무를 하나의 기업 문화로 정착하고 이를 지속적으로 고도화 해 나가기 위해 필요
2. 구성요소
   • 수행 조직(Organization)
   • 운영 프로세스(Process)
   • 지원 인프라(System)
   • 데이터 거버넌스(Data)
   • 교육 및 마인드 육성 체계(Human Resource)

2)데이터 분석 기획과 관리를 수행하는 조직

• 집중형/ 기능형/ 분산형 조직구조

3)데이터 분석 과제 기획과 운영 프로세스 

1. 데이터 분석 과제 관리 프로세스 구성
   
   • 과제발굴 단계
   • 과제 수행 및 모니터링 단계

4)데이터 분석 지원 인프라

1. 데이터 분석 플랫폼 구축 : 기획하는 단계부터 장기적, 지속적, 안정적으로 활용 할 수 있도록 고려
2. 데이터 분석 플랫폼 정의 : 데이터 분석 서비스를 위한 응용프로그램이 실핼될 수 있는 환경과 기초를 다루는 컴퓨터 시스템
3. 특징 : 프로그래밍 및 실행, 이를 서비스할 수 있는 환경을 제공
4. 개별 시스템을 추가하지 않으면서도 추가적인 서비스 제공 가능(확장성 증대)
5. 데이터 분석 플랫폼의 구성요소
   • 분석 서비스 제공 엔진
   • 분석 애플리케이션
   • 분석 서비스 제공 API
   • 데이터처리 Framework
   • 분석엔진
   • 분석 라이브러리
   • 운영체제(OS)
   • 하드웨어

5)데이터 거버넌스

1. 주요 관리대상
   • 마스터 데이터 - 데이터를 처리 및 조작하기위해 사용되는 기본 데이터
   • 메타 데이터 - 다른 데이터를 설명하기 위해 사용되는 데이터
   • 데이터 사전 - 효과적인 데이터 자원관리를 위해 다른 자료와의 관계 등을 저장해놓은 데이터
2. 구성요소 
   • 원칙(Principle)
   • 조직(Organization)
   • 프로세스(Process)
3. 데이터 거버넌스 체계
   • 데이터 표준화
   • 데이터 관리체계
   • 데이터 저장소 관리
   • 표준화 활동

▶데이터 분석 수준진단

1)데이터 분석 수준진단 개요

1. 필요성
   • 조직 경쟁력 강화를 위한 데이터 분석의 도입 여부와 활용을 위해 현 상태에 대한 명확한 점검 필요
2. 목표
   • 현재 수행하고 있는 데이터 분석 수준을 명확이 이해하고, 수준진단 결과를 바탕으로 미래 목표수준을 정의
3. 분석 수준진단 프레임워크
   • 6개 영역의 분석 준비도와 3개 영역의 분석 성숙도를 동시에 평가할 수 있다.

2)분석 준비도(Readiness)

1. 정의
   • 조직 내 데이터 분석 업무 도입을 목적으로 현재 수준을 파악하기 위한 진단 방법
2. 원리
   • 총 6가지 영역을 대상으로 현재 수준을 파악
   • 각 진단 결과 전체 요건 중 일정 수준 이상 충족하면 데이터 분석 업무를 도입
3. 데이터 분석 준비도 프레임워크

3)분석 성숙도 모델

1. 분석 성숙도 모델의 정의
   • 데이터 분석 능력 및 데이터 분석 결과 활용에 대한 조직의 성숙도 수준을 평가하여 현재 상태를 점검하는 방법
2. 분석 성숙도 모델의 특징
   • 비즈니스 부문, 조직 및 역량 부문, IT 부문 총 3개 부문을 대상으로 실시한다
   • 성숙도 수준에 따라 도입, 활용, 확산, 최적화 단계로 구분
3. 분석 성숙도 모델의 상세화

4)분석 수준진단 결과

1. 분석 준비도 및 성숙도 진단 결과
   • 조직의 현재 데이터 분석 수준을 객관적으로 파악
2. 사분면 분석
   • 데이터 분석 관점에서 4가지 유형으로 데이터 분석 수준진단 결과를 구분