또르의 개발노트

▶데이터 분석

:인사이트를 발굴하고 이를 공유하여 의사결정을 지원하는것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정

 1)데이터 분석의 현황

• 대다수 기업들은 빅데이터가 갖고있는 잠재력을 규명하는 초기 프로젝트에 머무름
• 분석적 방법과 성과에 대한 이해의 부족

2)데이터 분석의 지향점

1. 전략적 통찰이 없는 데이터 분석 배제
2. 일차원적인 데이터 분석 지양
3. 전략 도출을 위한 가치 기반 데이터 분석 지향

3)데이터 분석에 대한 회의론

• 솔루션을 도입한 후 어떻게 활용하여가치를 창출할 수 있을지 과제를 수행하는 상황에서 방치
• 현재 소개되고 있는 빅데이터 분석 성공사례들의 대다수가 기존 데이터 분석 프로젝트를 재포장한 경우임

4)데이터 분석시 고려사항

• 데이터 분석은 규모가 아니라 어떤 시각과 통장을 얻을 수 있는가의 문제
• 시장과 고객 변화에 효과적으로 대응하는 것이 중요

▶데이터 분석 기획

:의도했던 결과를 도출할 수 있도록 관리할 수 있는 방안을 사전에 계획하는 작업

1)분석 기획의 특징

1. 분석 대상과 방법에 따른 분류

 2. 목표 시점에 따른 분류

• 단기적 접근 방식(과제 중심) - Quick - Win 방식으로 분석
• 중장기적 접근 방식(마스터 플랜 접근) - 전사적으로 장기적 관점에서 과제를 도출하여 수행
• 혼합 방식(분석 기획 시 적합) - 마스터 플랜을 수립하고 장기적 관점에서 접근하는 것이 바람직

2)분석 기획 시 필요역량

1. 분석 기획을 위한 기본적인 소양
   • 도메인 지식, 정보기술, 수학 및 통계학적 지식이라는 3가지 역량에 대한 균형 잡힌 시각을 갖고서 분석의 방향성과 계획을 수립
2. 프로젝트 관리 역량과 리더십
   • 3가지 소양과 함께 프로젝트 관리 역량과 분석 프로젝트를 잘 이끌어 갈 리더십이 중요

3)분석 기획시 고려사항

1. 사용 가능한 데이터 확인
2. 적합한 사례 탐색
3. 분석 수행시 발생 가능한 요소 고려

▶분석 마스터 플랜과 로드맵 설정

1)분석 마스터 플랜

:과제의 목적이나 목표에 따라 전체적인 방향성을 제시하는 기본 계획

1. 분석 마스터플랜 수립 절차
   • 데이터 분석 과제들을 빠짐없의 정의
   • 중요도와 난이도를 고려하여 우선순위 결정
   • 단기와 중장기로 나누어 분석 로드맵 수립
2. 정보전략계획(ISP: Information Strategy Planning)
   • 정보기술 및 시스템을 전략적으로 활용하기 위한 중장기 마스터 플랜을 수립하는 절차
   • 새로운 기회나 문제점을 도출
   • 시스템 구축 우선순위 결정

2)분석 과제 우선순위 평가기준

1. IT 프로젝트의 과제 우선순위 평가기준
   • 전략적 중요도
   • 실행 용이성
2. 데이터 분석 프로젝트의 우선순위 평가기준
   • 투자비용 요소
   • 비즈니스 효과
3. 분석 ROI요소를 구려한 과제 우선순위 평가기준
   • 시급성 - 전략적 중요도, 목표가치(KPI)
   • 난이도 - 데이터 획득/가공/저장 비용, 분석 수준 등 

3) 분석 과제 우선순위 선정 및 조정

1. 포트폴리오 사분면 분석 기법 활용 : 난이도와 시급성을 기준으로 분석 과제 유형을 4분면에 배치

 2. 매트릭스 내 분석 과제 우선순위 선정

• 가장 우선적으로 분석 과제 적용이 필요한 영역 → 3사분면
• 우선순위가 낮은 영역 → 2사분면
• 적용 우선순위 기준 시급성 → 3 - 4 - 1 - 2
• 적용 우선순위 기준 난이도 → 3 - 1 - 4 - 2

  3. 매트릭스 내 분석 과제 우선순위 조정 가능  4. 분석 과제 우선순위 조정시 고려사항

• 기술적 요소에 따른 적용 우선순위 조정
• 분석 범위에 따른 우선순위 조정

4)분석 로드맵 설정

1. 분석 로드맵 수립 절차
   • 우선순위를 결정하여 단계적 구현 로드맵 수립
   • 단계별 추진하고자 하는 목표를 명확하게 정의
   • 단계별 추진 내용을 정렬
2. 세부적인 일정계획 수립
   • 반복적인 정련과정을 통해 프로젝트의 완성도를 높여 나감
   • 데이터 수집 및 확보와 분석 데이터 준비 단계는 순차적으로 진행
   • 순차형과 반복형을 혼합하여 사용

▶분석 문제 정의

1)분석 문제 정의 개요

1. 분석 과제 도출
2. 대표적인 분석 과제 도출 방법 - 하향식 접근 방식(문제가 주어지고 해법을 찾아가는 방식), 상향식 접근 방식(데이터를 기반으로 문제의 재정의 및 해결방안 탐색)
3. 최적의 의사결정을 위한 혼합방식
   • 동적인 환경에서 발산과 수렴 단계를 반복적으로 수행하여 상호 보완을 통해 분석의 가치 극대화
   • 상향식 접근 방식 : 가능한 옵션 도출
   • 하향식 접근 방식 : 도출된 옵션을 분석하고 검증
4. 분석 과제 정의
   • 다양한 방식으로 도출한 분석 과제들을 명확하게 정의하여 작성
   • 분석 프로젝트를 수행하는 이해관계자가 프로젝트의 방향을 설정하고 성공 여부를 판단할 수 있는 자료로 사용

2)하향식 접근 방식(Top Down Approach)

1. 문제 탐색 
2. 문제 정의
3. 해결방안 탐색
4. 타당성 평가

3)하향식 접근 방식의 문제 탐색 방법

1. 비즈니스 모델 캔버스를 활용한 과제 발굴
   • 업무단위(Operation) : 내부 프로세스 및 주요 자원과 관련하여 주제 도출
   • 제품단위(Product) : 생산 및 제공하는 제품이나 서비스를 개선하기 위한 주제 도출
   • 고객단위(Cusomer) : 제품이나 서비스를 제공받는 사용자나 고객 또는 이를 제공하는 채널관점에서 주제 도출
   • 규제와 감사 영역(Audit & Regulation) : 제품 생산과 전달 과정에서 발생하는 규제나 보안 관점에서 주제 도출
   • 지원 인프라 영역(IT & Human Resource) : 시스템영역과 이를 운영 및 관리하는 인력의 관점에서 주제 도출
2. 분석 기회 발굴의 범위 확장
   • 거시적 관점 - 사회 , 기술, 경제, 환경, 정치 영역
   • 경쟁자 확대 관점 - 대체재, 경쟁자, 신규 진입자 영역
   • 시장의 니즈 탐색 관점 - 고객, 채널, 영향자들 영역
   • 역량의 재해석 관점 - 내부 역량, 파트너와 네트워크 영역

4)상향식 접근 방식(Bottom Up Approach)

1. 상향식 접근기반 전통적 분석 사고 극복방안
   • 디자인 사고 접근법 : 현장 관찰과 감정이입, 대상 관점으로의 전환을 수행
   • 비지도학습 방법에 의한 수행 : 목표값을 사전에 학습하거나 정의하지 않고 데이터 자체만으로 결과를 도출
   • 빅데이터 환경에서의 분석 : 인과관계 분석을 위해 가설 설정하고 이를 검증하기 위해 모집단으로부터 표분 추출
2. 상향식 접근 방식의 문제 해결 방법
   • 프로토타이핑 접근법 : 분석을 시도해 보고 그 결과를 확인하면서 반복적으로 개선해 나가는 방식

▶데이터 분석방안

1)분석 방법론

1. 분석 방법론의 구성요건
   • 상세한 절차(Procedures)
   • 방법(Methods)
   • 도구와 기법(Tools & Techniques)
   • 템플릿과 산출물(Templates & Outputs)
   • 어느 정도의 지식만 있으면 활용 가능한 수준의 난이도
2. 분석 방법론의 생성과정(선순환)

2)계층적 프로세스 모델 구성

1. 최상위 계층 - 단계(Phase)
2. 중간 계층 - 태스트(Task)
3. 최하위 계층 - 스탭(Step)

3)소프트웨어개발생명주기 활용

• 구성요소 (계획 - 요구분석 - 설계 - 구현 - 시험 - 유지보수)

1. 폭포수 모형(Waterfall Model) : 분석, 설계, 개발, 구현, 시험 및 유지보수 과정을 순차적으로 접근하는 방법
2. 프로토 타입(Prototype Model) : 일시적으로 간략히 구현한 다음 다시 요구사항을 반영하는 과정을 반복
3. 나선형 모형(Spiral Model) : 점진적으로 완벽한 시스템으로 개발 하는 모형
4. 반복적 모형(Iterative Development Model) : 일부분을 반복적으로 개발하여 최종 시스템으로 완성
   • 증분형 모형(Incremental Model) : 일부분을 반복적으로 개발하여 대상범위를 확대해 최종제품을 완성하는 방법
   • 진화형 모형(Evolution Model) : 핵심부분을 개발한 후 구성요소를 지속적으로 발전시켜 나가는 방법
5. 소프트웨어개발생명주기 모형 선정 기준
   • 프로젝트의 규모와 성격
   • 개발에 사용되는 방법과 도구
   • 개발에 소요되는 시간과 비용
   • 개발과정에서의 통제수단과 소프트웨어 산출물 인도 방식

4)KDD 분석 방법론

:KDD(Knowledge Discovery in Database)는 통계적인 패턴이나 지식을 탐색하는 데 활용 할 수 있도록 체계적으로 정리한 프로파일링 기술 기반의 데이터 마이닝 프로세스

1. KDD 분석 방법론의 9가지 프로세스
   • 분석 대상 비즈니스 도메인의 이해
   • 분석 대상 데이터셋 선택과 생성
   • 데이터에 포함되어 있는 잡음과 이상값 등을 제거하는 정제작업이나 선처리
   • 분석 목적에 맞는 변수를 찾고 필요시 데이터의 차원을 축소하는 데이터 변경
   • 분석 목적에 맞는 데이터 마이닝 기법 선택
   • 분석 목적에 맞는 데이터 마이닝 알고리즘 선택
   • 데이터 마이닝 시행
   • 데이터 마이닝 결과에 대한 해석
   • 데이터 마이닝에서 발견된 지식 활용
2. KDD 분석 방법론의 분석절차
   • 데이터셋 선택
   • 데이터 전처리
   • 데이터 변환
   • 데이터 마이닝
   • 데이터 마이닝 결과 평가 

5)CRISP-DM 분석 방법론

:CRISP-DM(Cross Industry Standard Process for Data Mining)은 계층적 프로세스 모델로써 4계층으로 구성된 데이터 마이닝 프로세스

1. 4계층
   • 최상위 레벨 : 여러 개의 단계(Phases)로 구성
   • 일반화 태스크 : 데이터 마이닝의 단일 프로세스를 수행하는 단위
   • 세분화 태스크 : 일반화 태스크를 구체적으로 수행
   • 프로세스 실행 : 데이터 마이닝을 구체적으로 실행
2. 분석절차
   • 업무이해 - 데이터 이해 - 데이터 준비 - 모델링 - 평가 - 전개

6)SEMMA 분석 방법론

:SEMMA(Sample, Explore, Modify, Model and Assess)는 SAS Institute의 주도로 만들어진 기술과 통계 중심의 데이터 마이닝 프로세스

1. 특징
   • 데이터 마이닝 프로젝트의 모델링 작업에 중점을 둠
2. 분석절차
   • 추출(Sample) - 탐색(Explore) - 수정(Modify) - 모델링(Model) - 평가(Assess)

▶빅데이터 분석 방법론

1)빅데이터 분석 방법론 개요

:응용 서비스 개발을 귀한 3계층으로 구성됨

• 단계(Phase) - 데이터 분석을 수행하기 위한 절차
• 태스크(Task) - 각 단계별로 수행되어야 하는 세부 업무
• 스탭(Stemp) - 단기간 내에 수행 가능한 워크패키지. 입력자료, 처리 및 도구, 출력자료로 구성된 단위 프로세스
• 각 단계별로 세부 태스크와 스텝이 정의 되어 있다.

2)개발 절차  

1. 분석 기획
   • 비즈니스 이해 및 범위 설정 
   • 프로젝트 정의 및 계획 수립
   • 프로젝트 위험계획 수립
2. 데이터 준비
   • 필요데이터 정의
   • 데이터 스토어 설계
   • 데이터 수집 및 정합성 점검
3. 데이터 분석
   • 분석용 데이터 준비
   • 텍스트 분석
   • 탐색적 분석
   • 모델링
   • 모델 평가 및 검증
4. 시스템 구현
   • 설계 및 구현
   • 시스템 테스트 및 운영
5. 평가 및 전개
   • 모델 발전계획 수립
   • 프로젝트 평가 보고

▶데이터 분석 거버넌스

1)데이터 분석 거버넌스 개요

1. 필요성
   • • 데이터 분석 업무를 하나의 기업 문화로 정착하고 이를 지속적으로 고도화 해 나가기 위해 필요
2. 구성요소
   • 수행 조직(Organization)
   • 운영 프로세스(Process)
   • 지원 인프라(System)
   • 데이터 거버넌스(Data)
   • 교육 및 마인드 육성 체계(Human Resource)

2)데이터 분석 기획과 관리를 수행하는 조직

• 집중형/ 기능형/ 분산형 조직구조

3)데이터 분석 과제 기획과 운영 프로세스 

1. 데이터 분석 과제 관리 프로세스 구성
   
   • 과제발굴 단계
   • 과제 수행 및 모니터링 단계

4)데이터 분석 지원 인프라

1. 데이터 분석 플랫폼 구축 : 기획하는 단계부터 장기적, 지속적, 안정적으로 활용 할 수 있도록 고려
2. 데이터 분석 플랫폼 정의 : 데이터 분석 서비스를 위한 응용프로그램이 실핼될 수 있는 환경과 기초를 다루는 컴퓨터 시스템
3. 특징 : 프로그래밍 및 실행, 이를 서비스할 수 있는 환경을 제공
4. 개별 시스템을 추가하지 않으면서도 추가적인 서비스 제공 가능(확장성 증대)
5. 데이터 분석 플랫폼의 구성요소
   • 분석 서비스 제공 엔진
   • 분석 애플리케이션
   • 분석 서비스 제공 API
   • 데이터처리 Framework
   • 분석엔진
   • 분석 라이브러리
   • 운영체제(OS)
   • 하드웨어

5)데이터 거버넌스

1. 주요 관리대상
   • 마스터 데이터 - 데이터를 처리 및 조작하기위해 사용되는 기본 데이터
   • 메타 데이터 - 다른 데이터를 설명하기 위해 사용되는 데이터
   • 데이터 사전 - 효과적인 데이터 자원관리를 위해 다른 자료와의 관계 등을 저장해놓은 데이터
2. 구성요소 
   • 원칙(Principle)
   • 조직(Organization)
   • 프로세스(Process)
3. 데이터 거버넌스 체계
   • 데이터 표준화
   • 데이터 관리체계
   • 데이터 저장소 관리
   • 표준화 활동

▶데이터 분석 수준진단

1)데이터 분석 수준진단 개요

1. 필요성
   • 조직 경쟁력 강화를 위한 데이터 분석의 도입 여부와 활용을 위해 현 상태에 대한 명확한 점검 필요
2. 목표
   • 현재 수행하고 있는 데이터 분석 수준을 명확이 이해하고, 수준진단 결과를 바탕으로 미래 목표수준을 정의
3. 분석 수준진단 프레임워크
   • 6개 영역의 분석 준비도와 3개 영역의 분석 성숙도를 동시에 평가할 수 있다.

2)분석 준비도(Readiness)

1. 정의
   • 조직 내 데이터 분석 업무 도입을 목적으로 현재 수준을 파악하기 위한 진단 방법
2. 원리
   • 총 6가지 영역을 대상으로 현재 수준을 파악
   • 각 진단 결과 전체 요건 중 일정 수준 이상 충족하면 데이터 분석 업무를 도입
3. 데이터 분석 준비도 프레임워크

3)분석 성숙도 모델

1. 분석 성숙도 모델의 정의
   • 데이터 분석 능력 및 데이터 분석 결과 활용에 대한 조직의 성숙도 수준을 평가하여 현재 상태를 점검하는 방법
2. 분석 성숙도 모델의 특징
   • 비즈니스 부문, 조직 및 역량 부문, IT 부문 총 3개 부문을 대상으로 실시한다
   • 성숙도 수준에 따라 도입, 활용, 확산, 최적화 단계로 구분
3. 분석 성숙도 모델의 상세화

4)분석 수준진단 결과

1. 분석 준비도 및 성숙도 진단 결과
   • 조직의 현재 데이터 분석 수준을 객관적으로 파악
2. 사분면 분석
   • 데이터 분석 관점에서 4가지 유형으로 데이터 분석 수준진단 결과를 구분

▶빅데이터 플랫폼

: 빅데이터 플랫폼은 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경

1)빅데이터 플랫폼의 등장배경

1. 비즈니스 요구사항 변화 - 장기적이고 전략적인 접근 필요, 클라우드 컴퓨팅 기반의 분석 환경 등장
2. 데이터 규모와 처리 복잡도 증가 - 분석 처리가 불가피하며 이를 제어할 수 있는 고도의 기술 필요
3. 데이터 구조의 변화와 신속성 요구 - 실시간 처리에 대한 요구 증대, 비정형 데이터 증가
4. 데이터 분석 유연성 증대 - 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석 가능

2)빅데이터 플랫폼의 기능

:부하들을 기술적인 요소들을 결합하여 해소

1. 컴퓨팅 부하 발생 
2. 저장 부하 발생
3. 네트워크 부하 발생

3)빅데이터 플랫폼의 조건

:서비스 사용자와 제공자 어느 한쪽에 치우쳐서는 안되며 모두가 만족할 수있는 환경제공 

4)빅데이터 플랫폼 구조

1. 소프트웨어 계층
   • 데이터 처리 및 분석엔진 - 데이터 처리 및 분석, 워크플로우 구성, 데이터 표현
   • 데이터 수집 및 정제 모듈 - 데이터 추출/변환/적재
   • 서비스 관리 모듈 - 소프트웨어 계층에서 제공하는 서비스 관리
   • 사용자 관리 모듈 - 사용자 관리 , 인증 및 접속 관리 , SLA (Service Level Agreement)관리
   • 모니터링 모듈 - 플랫폼 및 인프라스트럭처 서비스 사용성과 성능 모니터링
   • 보안모듈 - 소프트웨어 계층의 보안 관리 
2. 플랫폼 계층
   • 사용자요청 파싱 - 사용자가 요청한 내용 파싱
   • 작업 스케줄링 모듈  - 애플리케이션 실행 작업을 스케줄링
   • 데이터 및 자원 할당 모듈 - 초기데이터 할당, 데이터 재할당 및 복제, 초기 자원 할당, 재할당 및 스케일링
   • 프로파일링 모듈 - 자원/애플리케이션 프로파일링, 애플리케이션 시뮬레이션
   • 데이터 관리 모듈 - 사용자 데이터 관리
   • 자원관리 모듈 - 인프라스트럭처 자원 관리
   • 서비스 관리모듈 - 플랫폼 계층에서 제공하는 서비스 관리
   • 사용자 관리모듈 - 인증 및 접속관리, 사용자 서비스 관리, SLA 관리
   • 모니터링 모듈 - 인프라스트럭처 서비스 가용성과 성능을 모니터링
   • 보안모듈 - 소프트웨어 계층의 보안을 관리
3. 인프라스트럭쳐 계층
   • 사용자 요청 파싱 - 사용자 요청 내용 파싱
   • 자원 배치 모듈 - 초기자원 배치, 자원 재배치 및 스케일링
   • 노트 관리 모듈 - 인프라스트럭처 내의 노트관리
   • 데이터 관리 모듈 - 스토리지 관리
   • 네트워크 관리모듈 - 네트워크 관리
   • 서비스 관리 모듈 - 서비스 관리
   • 사용자 관리모듈 - 인증 및 접속관리, 사용자 서비스 관리, SLA 관리
   • 모니터링 모듈 - 인프라스트럭처 서비스 가용성과 성능을 모니터링
   • 보안모듈 - 소프트웨어 계층의 보안을 관리

*빅데이터 처리기술 

1)빅데이터 처리과정과 요소기술

2)빅데이터 수집

1. 크롤링(Crawling) -분산 저장되어 있는 문서를 수집하여 검색 대상의 색인으로 포함시키는 기술
2. 로그 수집기 - 웹 서버나 시스템의 로그를 수집하는 소프트웨어
3. 센서 네트워크 - 유비쿼터스 컴퓨팅 구현을 위한 초경량 저전력의 많은 센서들로 구성된 유무선 네트워크
4. RSS Reader/Open API - 데이터의 생산, 공유, 참여할 수 있는 환경인 웹 2.0을 구현하는 기술
5. ETL 프로세스 - 데이터의 추출(Extract), 변환(Transform), 적재(Load)의 약어, 다양한 원천 데이터를 취합해 추출하고 공통된 형식으로 변환하여 적재하는 과정 

3)빅데이터 저장

1. NoSQL(Not-only SQL) - SQL을 사용하지 않는 비관계형 데이터베이스
   • 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 지속성(Durability) 포기
   • 데이터 업데이트가 즉각
   • Cloudata, Hbase, Cassandra, MongoDB 등이 대표적
2. 공유 데이터 시스템
   • 일관성, 가용성(Availability), 분할 내성(Partition Tolerance)중에서 최대 두개의 속성만 보유 가능
   • RDBMS보다 높은 성능과 확장성 제공
3. 병렬 데이터베이스 관리 시스템
   
   • 여러 디스크에 질의, 갱신, 입출력 등 데이터베이스 처리를 동시에 수행하는 시스템
   • VoltDB, SAP HANA, Vertica, Greenplum, Netezza가 대표적
4. 분산 파일 시스템 - 네트워크로 공유하는 여러 호스트의 파일에 접근할 수 있는 파일 시스템
   • 데이터를 분산하여 저장하면 데이터 추출 및 가공 시 빠르게 처리 가능
   • GFS(Google File System), HDFS(Hadoop Distributed File System), 아마존 S3 파일 시스템이 대표적
5. 네트워크 저장 시스템 - 저장 장치를 하나의 데이터 서버에 연결하여 총괄적으로 데이터를 저장 및 관리하는 시스템
   • SAN(Storage Area Network), NAS(Nerwork Attached Storage) 가 대표적 

 4)빅데이터 처리

1. 분산 시스템과 병렬 시스템 
   • 분산시스템 - 네트워크상에 분산되어 있는 컴퓨터를 단일 시스템인 것처럼 구동하는 기술
   • 병렬시스템 - 문제 해결을 위해 CPU 등의 자원을 데이터 버스나 지역 통신 시스템 등으로 연결하여 구동하는 기술
2. 분산 병렬 컴퓨팅 - 다수의 독립된 컴퓨팅 자원을 네트워크상에 연결하여 이를 제어하는 미들웨어를 이용해 하나의 시스템으로 동작하게 하는 기술
3. 하둡(Hadoop) - 분산 처리환경에서 대용량 데이터 처리 및 분석을 지원하는 오픈소스 소프트웨어 프레임워크
4. 아파치 스파크 - 실시간 분산형 컴퓨팅 플랫폼
5. 맵리듀스 - 구글에서 개발한 방대한 양의 데이터를 신속하게 처리하는 프로그래밍 모델로 효과적인 병렬 및 분산 처리를 지원

   >맵리듀스 처리단계(Split - Map - Shuffle - Reduce)

1. 입력 데이터를 읽고 분할(Split)
2. 분할된 데이터를 할당해 맵 작업 수행, 중간 데이터를 통합 및 재분할(Map)
3. 통합 및 재분할된 중간 데이터를 셔플한다(Shuffle)
4. 셔플된 중간 데이터를 이용해 리듀스 작업을 수행(Reduce)
5. 출력데이터를 생성하고, 맵리듀스 처리를 종료

5)빅데이터 분석

1. 데이터 분석 방법의 분류
   • 탐구 요인 분석(EFA: Exploratory Factor Analysis) : 데이터 간 상호 관계를 파악하여 데이터를 분석
   • 확인 요인 분석(CFA: Confirmatory Factor Analysis) : 관찰된 변수들의 집합 요소구조를 파악하기 위한 통계적 기법을 통해 데이터를 분석하는 방법
2. 데이터 분석 방법
   • 분류(Classification) - 미리 알려진 클래스들로 구분되는 학습 데이터셋을 학습시켜 새로 추가되는 데이터가 속할 만한 데이터 셋을 찾는 지도 학습 방법
   • 군집화(Clustering) - 특성이 비슷한 데이터를 하나의 그룹으로 분류하는 방법 , 비지도학습 방법
   • 기계학습(Machine Learning) - 인공지능 분야에서 인간의 학습을 모델링한 방법
   • 텍스트 마이닝(Text Mining) - 자연어 처리 기술을 이용해 인간의 언어로 쓰인 비정형 텍스트에서 유용한 정보를 추출 및 분석 
   • 웹 마이닝(Web Mining) - 인더넷을 통해 수집한 정보를 데이터 마이닝 방법으로 분석
   • 오피니언 마이닝(Opinion Mining) - 소셜 미디어 코멘트 또는 사용자가 만든 콘텐츠에서 표현된 의견을 추출, 분류, 이해하는 응용분야
   • 리얼리티 마이닝(Reality Mining) - 인간관계와 행동 양태 등을 추론하는 응용 분야
   • 소셜 네트워크 분석(Social Network Analysis) - 수학의 그래프 이론을 바탕으로 소셜 네트워크 서비스에서 네트워크 연결 구조와 강도를 분석하여 사용자의 명성 및 영향력을 측정하는 방법
   • 감상 분석(Sentiment Analysis) - 문장의 의미를 파악하여 글의 내용에 긍정 또는 부정, 좋은 또는 나쁨을 분류하거나 만족 또는 불만족 강도를 지수화하는 방법

*빅데이터와 인공지능

1)인공지능(AI: Artificial Intelligence)

1. 인공지능의 정의
   • 기계를 지능화하는 노력
   • 설정한 목표를 극대화하는 행동을 제시하는 의사결정 로직 
2. 인공지능과 기계학습 및 딥러닝의 관계
   • 인공지능을 논할 때 기계학습과 딥러닝을 혼재하여 사용 
3. 딥러닝(Deep Learing)의 특징
   • 깊은 구조에 의해 엄청난 양의 데이터를 학습할 수 있는 특징
   • 딥러닝 분석기법
     • CNN(Convolutional Neural Network, 합성곱 신경망)
     • RNN(Recurrent Neural Network, 순환 신경망)
     • LSTM(Long Short-Term Memory) 
     • Auto-encoder 등
4. 기계학습의 종류
   • 지도학습(Supervised Learining) - 학습 데이터로부터 하나의 함수를 유추해내기 위한 방법
   • 비지도학습(Unsupervised Learning) - 데이터가 어떻게 구성되었는지를 알아내는 문제의 범주
   • 준지도학습(Semi-Supervised Learing) - 목표값이 표시된 데이터와 표시되지 않은 데이터를 모두 학습에 사용 
   • 강화학습(Reinforcement Learing) - 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 순서를 선택하는 방법 
5. 기계학습 방법에 따른 인공지능 응용분야
   • 지도학습 - 분류모형, 회귀모형
   • 비지도학습 - 군집분석, 오토인코더(AutoEncoder), 생성적 적대 신경망(Generative Adversarial Network)
   • 강화학습 - 강화학습

Long Short-Term Memory

2)인공지능 데이터 학습의 진화

1. 전이학습(Transfer Learing) - 주로 이미지, 언어, 텍스트 인식과 같이 지도학습 중 분류모형인 인식문제에 활용 가능 
2. 전이학습 기반 사전학습모형(Pre-trained Model) - 학습 데이터에 의한 인지능력을 갖춘 딥러닝 모형에 추가적인 데이터를 학습시키는 방식
3. BERT(Bidirectional Encoder Representations from Transformers) - 구글에서 발표한 언어인식 사전학습모형

3)빅데이터와 인공지능의 관계

1. 인공지능을 위한 학습 데이터 확보  - 양질의 데이터 확보
2. 학습 데이터의 애노테이션 작업 - 데이터 확보 후 애노테이션을 통해 학습이 가능한 데이터로 가공하는 작업
3. 애노테이션 작업을 위한 도구로써의 인공지능 

4)인공지능의 기술동향

1. 기계학습 프레임워크 보급 확대 - 텐서플로우(Tensorflow)는 파이썬 기반 딥러닝 라이브러리
2. 생성적 적대 신경망(GAN) - 두 개의 인공신경망으로 구성된 딥러닝 이미지 생성 알고리즘
3. 오토인코더(Auto-encoder) - 라벨이 설정되어 있지 않은 학습 데이터로부터 더욱 효율적인 코드로 표현하도록 학습하는 신경망
4. 설명 가능한 인공지능(XAI:eXplainable AI) - 차트나 수치 또는 자연어 형태의 설명으로 제공
5. 기계학습 자동화(AutoML) - 기계학습의 전체 과정을 자동화

*개인정보 개요

1)개인정보의 정의와 판단기준

1. 정의
   • 살아 있는 개인에 관한 정보로서 개인을 알아볼 수 있는 정보
   • 해당 정보만으로 특정 개인을 알아볼 수 없더라도 다른 정보와 쉽게 결합하여 알아볼 수 있는 정보 포함
2. 판단기준
   • 생존하는 개인에 관한 정보
   • 정보의 내용, 형태 등은 제한이 없음
   • 개인을 알아볼 수 있는 정보

2)개인정보의 처리와 활용

1. 개인정보의 이전 : 개인정보가 다른사람에게 이전되거나 공동으로 처리
2. 개인정보의 위탁 : 개인정보처리자의 업무를 처리할 목적으로 제3자에게 이전
3. 개인정보의 제3자 제공 : 해당 정보를 제공받는 자의 고유한 업무처리를 할 목적 및 이익을 위하여 정보가 이전

3)빅데이터 개인정보보호 가이드라인(방송통신위원회)

1. 비식별화
2. 투명성 확보
3. 재식별 시 조치
4. 민감정보 및 비밀정보 처리
5. 기술적, 관리적 보호조치

*개인정보 법 제도

1)개인정보보호법

1. 개요
   • 당사자의 동의 없는 개인정보 수집 및 활용하거나 제3자에게 제공하는 것을 금지하는 등 개인정보보호를 강화한 내용을 담아 제정한 법률
   • 상대방의 동의 없이 개인정보를 제3자에게 제공하는 5년 이하의 징역이나 5,000만원 이하의 벌금에 처함
2. 범위
   • 어떤 정보가 개인정보에 해당하는지는 그 정보가 특정 개인을 알아 볼 수 있는지, 다른 정보와 쉽게 결합할 수 있는 가에 따라 결정

2)정보통신망 이용촉진 및 정보보호 등에 관한 법률(정보통신망법)

1. 개요
   • 정보통신망의 개발과 보급 등 이용 촉진과 함께 통신망을 통해 활용되고 있는 정보보호에 관한 규정한 법률
   • 이용자의 동의를 받지 않고 개인정보를 수집하거나 제3자에게 개인정보를 제공한경우 5년 이하의 징역 또는 5,000만원 이하의 벌금에 처함

3)신용정보의 이용 및 보호에 관한 법률(신용정보보호법)

1. 개요
   • 개인신용정보를 신용정보회사 등에게 제공하자 하는 경우에 개인으로부터 서면 또는 공인전자서명이 있는 전자문서에 의한 동의 등을 얻어야 한다.
   • 신용정보주체는 신용정보회사 등이 본인에 관한 신용정보를 제공하는 때에는 제공받는 자, 그 이용 목적, 제공한 본인정보의 주요 내용 들을 통보하도록 요구하거나 인터넷을 통하여 조회할 수 있도록 요구할 수 있다.
   • 신용정보회사 등이 보유하고 있는 본인정보의  제공 또는 열람을 청구할 수 있고, 사실과 다른 경우에는 정정을 청구할 수 있다.
2. 개인정보의 범위(제2조 제1호 및 제2호, 제34조 제1항)
   • 신용정보란 금융거래 등 상거래에 있어서 거래 상대방의 신용을 판단할 때 필요한 정보로서 다음 각 목의 정보를 말함.
   • 특정 신용정보주체를 식별할 수 있는 정보
   • 신용정보주체의 거래내용을 판단할 수 있는 정보
   • 신용정보주체의 신용도를 판단할 수 있는 정보
   • 신용정보주체의 신용거래능력을 판달할 수 있는 정보
   • 그 밖에 유사한 정보
3. 개인신용정보
   • 개인신용정보란 신용정보 중 개인의 신용도와 신용거래능력 등을 판단할 때 필요한 정보
4. 개인식별정보
   • 개인식별정보란 생존하는 개인의 성명, 주소 및 주민등록번호, 여권번호 등 개인을 식별 할 수 있는 정보

4)데이터 3법의 주요 개정 내용

• 데이터 이용 활성화를 위한 가명정보 개념 도입 및 데이터간 결합 근거 마련
• 개인정보보호 관련 법률의 유사, 중복 규정을 정비 및 거버넌스 체계 효율화
• 데이터 활용에 따른 개인정보처리자 책임 강화
• 다소 모호했던 개인정보의 판단기준 명확화

*개인정보 비식별화

1)개요

1. 비식별 정보 - 정보 집합물에 대해 "개인정보 비식별 조치 가이드라인"에 따라 적정하게 비식별 조치된 정보
2. 비식별 조치 - 개인을 알아볼 수 없도록 하는 조치
3. 비식별 정보의 활용 - 제 3자에게 제공 가능, 불특정 다수에게는 공개 불가
4. 비식별 정보의 보호 - '재식별'될 가능성이 있음, 재식별하게 된 경우에는 즉시 처리중지하고 파기하여야 함

2)조치 가이드 라인 조치사항

1. 사전검토  - 개인정보에 해당하는지 여부 검토 (개인정보, 식별정보)
2. 비식별조치 - 개인을 알아볼 수 없도록 하는 조치( 가명, 총계, 삭제, 범주화, 마스킹)
3. 적정성평가 - 비식별 조치 적정성 편가단을 통해 평가(k-익명성, l-다양성, t-근접성)
4. 사후관리 - 재식별 방지를 위해 필요한 조치 수행(관리적/기술적 보호조치)

3)개인정보 비식별화 조치 가이드라인의 조치방법

1. 가명처리 : 식별 요소를 다른 값으로 대체
2. 총계처리 : 총합 값을 보여주고 개별 값을 보여 주지 않음
3. 데이터삭제 : 개인식별에 중요한 값을 삭제
4. 데이터범주화 : 값을 범부화하여  값을 숨김
5. 데이터마스킹 : 식별가능한 주요 식별자를 보이지 않도록 처리하는 방법

*개인정보 활용

1)데이터 수집의 위기 요인과 통제방안

1. 사생활 침해로 위기 발생
2. 동의에서 책임으로 강화하여 통제

2)데이터 활용의 위기 요인과 통제방안

1. 책임원칙 훼손으로 위기 발생
2. 결과 기반 책임 원칙을 고수하여 통제

3)데이터 처리의 위기 요인과 통제 방안

1. 데이터 오용으로 위기 발생 - 빅데이터는 과거에 일어났던 일로 인해 기록된 데이터에 의존
2. 알고리즘 접근을 허용하여 통제