티스토리

또르의 개발노트

검색하기

블로그 홈

또르의 개발노트

ssonj11.tistory.com/m

시작이 어려운법이지

구독자: 8

방명록 방문하기

주요 글 목록

[빅데이터분석기사] [3-3] 빅데이터모델링 - 분석 기법(2/4) 5.인공지능, 머신러닝, 딥러닝 딥러닝은 머신러닝의 한 종류로 인공신경망(ANN)에 기반을 둔 학습 방법 머신러닝은 정형데이터 학습에 딥러닝은 이미지, 소리, 텍스트와 같은 비정형 데이터 학습에 주로 사용 딥러닝 학습에넌 DNN, CNN, RNN, GAN, 전이학습 등의 다양한 종류 있음 전이학습 : 풍부한 데이터를 이용해서 학습된 pre-trained model을 가져와 부족한 사용자 데이터 환경에 맞도록 새롭게 모델을 학습시키는 일련의 과정 인공신경망(ANN) 모형 인공신경망을 이용하면 분류 및 예측을 할 수 있음 인공신경망은 입력층, 은닉층, 출력층 3개의 층으로 구성(SLP:은닉층 없음, MLP :1개 이상의 은닉층) 각 층에 뉴런(=Perceptron, Node)이 여러 개 포함되어 있음 학습:.. 공감수 0 댓글수 0 2023. 9. 7.
[빅데이터분석기사] [3-3] 빅데이터모델링 - 분석 기법(1/4) 용어정리 독립변수 다른 변수에 영향을 받지 않고 독립적으로 변화하는 수, 설명 변수라고도 함 입력 값이나 원인을 나타내는 변수 , y=f(x)에서 x에 해당하는 종속변수 독립변수의 영향을 받아 값이 변화하는 수 , 분석의 대상이 되는 변수 결과물이나 효과를 나타내는 변수, y= f(x)에서 y에 해당하는 것 잔차 계산에 의해 얻어진 이론 값과 실제 관측이나 측정에 의해 얻어진 값의 차이 오차(Error) - 모집단, 잔차 - 표본집단 회귀 분석 변수와 변수 사이의 관계를 알아보기 위한 통계적 분석 방법 독립변수의 값에 의해 종속변수의 값을 예측하기 위함 일반 선형회귀는 종속변수가 연속형 변수일 때 가능 선형 회귀 모형 종속변수 y와 한 개 이상의 독립변수 X와의 선형 상관 관계를 모델링하는 회귀분석 기법.. 공감수 0 댓글수 0 2023. 9. 7.
[빅데이터분석기사] [3-2] 빅데이터모델링 - 데이터 분할 홀드아웃(Hold Out) 원천 데이터를 랜덤하게 두 개로 분리하여 성능을 평가하는 방법 하나는 모형 학습 및 구축을 위한 훈련용 자료, 다른 하나는 성과평가를 위한 테스트용 자료로 사용 훈련용 데이터는 다시 훈련과 검증 자료로 나눠 사용할 수 있음 즉, 데이터를 학습 , 검증, 시험(테스트) 세트 세 가지로 분할하여 사용할 수 있음 7:3 또는 8:2 등의 비율로 학습 데이터와 테스트 데이터로 분할함 일반적으로 랜덤추출 방법을 활용하여 데이터가 편향되지 않도록 함 과대적합(overitting) 발생 여부 확인을 위해 train, test에 대해 평가 후 비교 ( train >> test 면 과대 적합) *데이터 분할 시 주의사항 학습 데이터와 테스트 데이터는 겹쳐서는 안됨 검증 데이터와 테스트 데이터는.. 공감수 0 댓글수 0 2023. 9. 1.
[빅데이터분석기사] [3-1] 빅데이터모델링 - 분석 모형 설계 1.분석 모형 선정 통계분석: 기술통계, 추론통계 데이터 마이닝 : 분류,추정,예측,연관,군집,기술 분석 머신러닝 : 지도학습(분류,회귀), 비지도학습(군집,차원축소,연관), 준지도학습, 강화 학습 딥러닝 : DNN, CNN, RNN, GAN *데이터 마이닝 : 대용량 데이터 속에서 유용한 정보를 발견하는 과정, 기대 및 기대하지 못했던 정보를 찾을 수 있는 기술로 가치 있는 정보를 만들어 의사 결정에 저용하여 이익을 극대화 시키는 것을 목표로 함 분류 추정 예측 연관분석 군집 기술 *지도학습 X를 사용해 Y를 예측할 때, 학습 데이터에 X, Y 데이터가 모두 존재하는 학습 X를 독립변수, Y를 종속변수라고 하며, Y에는 실제 값, 예측 값이 존재함 회귀, 분류 모델이 있음 회귀 예측 값이 실제 값보다 .. 공감수 0 댓글수 0 2023. 9. 1.
[빅데이터분석기사] [2-3]빅데이터 탐색 통계기법 이해 데이터 요약 1.기술통계 기술통계 : 관측을 통해 얻은 데이터에서 그 데이터의특징을 규명하기 위한 통계적 기법 추리통계 : 수집된 데이터를 기반으로 모집단의 특성을 추론하고 예측하는데 사용하는 통계적 기법 모수통계 : 모집단의 특성에 대한 정보가 충분하기 대문에 표본 통계량으로 모수 추정이 가능한 통계기법 비모수통계 : 현상이 명목척나 서열척도로 측정되어 모집단의 분표형태나 모수의 특징을 추론해 내기 어려운 경우에 사용하는 기법 단일변량 통계분석 : 하나의 변수를 대상으로 하는 통계분석 다변량 통계분석 : 두 개 이상의 변수들을 대상으로 하는 통계분석 2.표본추출 통계분석의 기본개념 모집단 모집단이란 분석을 위해 관심이 있는 대상 전체 목표모집단 : 조사 목적에 의해 개념상 규정된 모집단 조사가능모집단 .. 공감수 0 댓글수 0 2023. 8. 29.
[빅데이터 분석기사] [2-2] 빅데이터 탐색 데이터 탐색 1.데이터 탐색 기초 데이터 특징을 파악하는 과정으로서 주로 변수 파악, 통계량 산출, 상관 분석 등을 수행하며, 시각화를 통해 데이터에 대한 인사이트를 얻는다 데이터 분석 접근방법 확증적 데이터 분석(CDA, Confirmatory Data Analysis) 가설을 설정한 후, 수집한 데이터로 가설을 평가하고 추정하는 전통적인 분석방법 관측된 형태나 효과의 재현성 평가, 유의성 검정, 신뢰구간 추정 등의 통계적 추론을 하는 분석방법으로 설문조사나 논문에 관한 내용을 입증하는 데 사용 탐색적 데이터 분석(EDA, Exploratory Data Anaysis) 데이터의 특징과 내재하는 구조적관계를 알아내기 위한 기법들을 총칭 데이터를 분석하기 전에 그래프나 통계적인 방법으로 자료를 직관적으로 바라보는 과정.. 공감수 0 댓글수 0 2023. 8. 29.
[빅데이터 분석기사] [2-1]빅데이터 탐색 -데이터 전처리 결측값(Missing Value) 데이터가 입력되지 않고 누락된 값 NA, N/A, NULL, 공백, NaN 등 다양하게 표기됨 분석에 영향을 미치기 때문에 반드시 처리 단순 대치법(Single Imputation) 완전 분석법 불완료 자료 모두 무시 관측된 자료 중 일부를 무시하게되어 효율성 상실, 통계적 추론의 타당성 문제 발생 평균 대치법 데이터의 평균, 중앙값, 최빈값 등으로 결측값 대치 결측값 발생이 다른 변수와 관계 있는 경우 유용 단순 확률 대치 평균 대치법에 적절한 확률 값을 부여하여 대치하는 방법 평균 대치법에서 추정한 표준오차의 과소추정문제를 보완하고자 고안됨 Hot-Deck : 진행 중인 연구에서 비슷한 성향을 가진 응답자의 자료로 대체 Cold-Deck : 외부 출처 또는 이전의 비.. 공감수 1 댓글수 0 2023. 8. 28.
[빅데이터 분석기사] [1-5]데이터 수집 및 저장 계획 - 데이터 수집 및 전환 ▶데이터 수집 :데이터 처리 시스템에 들어갈 데이터를 모으는 과정으로 여러 장소에 있는 데이터를 한 곳으로 모으는 것이다. 1)비즈니스 도메인과 원천 데이터 정보 수집 비즈니스 도메인 정보 비즈니스 모델, 비즈니스 용어집, 비즈니스 프로세스로부터 관련 정보를 습득 한다. 도메인 전문가 인터뷰를 통해 데이터의 종류, 유형, 특징 정보를 습득 원전 데이터 정보 데이터의 수집 가능성 : 원천 데이터 수집의 용이성과 데이터 발생 빈도를 탐색하고, 데이터 활용에 있어서 전처리 및 후처리 비용을 대략 산정 데이터의 보안 : 수집 대상 데이터의 개인정보 포함여부, 지적 재산권 존재 여부를 판단하여 데이터 분석 시 발생할 수 있는 문제를 예방 데이터 정확성 : 데이터 분석 목적에 맞는 적절한 데이터 항목이 존재하고, .. 공감수 0 댓글수 0 2023. 7. 12.
[빅데이터 분석기사] [1-4] 데이터 분석 계획 - 분석 작업 계획 ▶분석작업개요 :분석 작업 계획을 수립하ㅣ 위해 데이터 처리 프로세스 전체에 대한 이해가 필요하며, 데이터 처리 영역과 데이터 분석 영역으로 구분 할 수 있다. 1)데이터 처리 영역 : 데이터 분석을 위한 기초 데이터를 정의하고 수집 및 저장, 분석하기 수월하도록 물리적인 환경을 제공하는 영역 데이터 소스 데이터 수집 데이터 저장 데이터 처리 2)데이터 분석 영역 :저장되어 있는 데이터를 추출하여 분석 목적과 방법에 맞게 가공한 후, 데이터 분석을 직접 수행하고 그 결과를 표현하는 영역 데이터 분석 - NCS(국가직무능력표준) 도메인 이슈 도출 분석목표 수립 프로젝트 계획 수립 보유 데이터 자산 확인 데이터 표현 빅데이터 분석 결과 시각화 ▶데이터 확보 계획 1)데이터 확보를 위한 사전 검토사항 필요 데.. 공감수 0 댓글수 0 2023. 6. 30.
[빅데이터 분석기사] [1-3] 데이터 분석 계획 - 분석 방안 수립 ▶데이터 분석 :인사이트를 발굴하고 이를 공유하여 의사결정을 지원하는것을 목표로 데이터를 정의, 수집, 변환, 모델링, 시각화 하는 과정 1)데이터 분석의 현황 대다수 기업들은 빅데이터가 갖고있는 잠재력을 규명하는 초기 프로젝트에 머무름 분석적 방법과 성과에 대한 이해의 부족 2)데이터 분석의 지향점 전략적 통찰이 없는 데이터 분석 배제 일차원적인 데이터 분석 지양 전략 도출을 위한 가치 기반 데이터 분석 지향 3)데이터 분석에 대한 회의론 솔루션을 도입한 후 어떻게 활용하여가치를 창출할 수 있을지 과제를 수행하는 상황에서 방치 현재 소개되고 있는 빅데이터 분석 성공사례들의 대다수가 기존 데이터 분석 프로젝트를 재포장한 경우임 4)데이터 분석시 고려사항 데이터 분석은 규모가 아니라 어떤 시각과 통장을 얻.. 공감수 0 댓글수 0 2023. 6. 26.
[빅데이터 분석기사] [1-2]빅데이터의 이해 - 빅데이터 기술 및 제도 ▶빅데이터 플랫폼 : 빅데이터 플랫폼은 빅데이터 수집부터 저장, 처리, 분석 등 전 과정을 통합적으로 제공하여 그 기술들을 잘 사용할 수 있도록 준비된 환경 1)빅데이터 플랫폼의 등장배경 비즈니스 요구사항 변화 - 장기적이고 전략적인 접근 필요, 클라우드 컴퓨팅 기반의 분석 환경 등장 데이터 규모와 처리 복잡도 증가 - 분석 처리가 불가피하며 이를 제어할 수 있는 고도의 기술 필요 데이터 구조의 변화와 신속성 요구 - 실시간 처리에 대한 요구 증대, 비정형 데이터 증가 데이터 분석 유연성 증대 - 텍스트, 음성, 이미지, 동영상 등 다양한 요소들의 분석 가능 2)빅데이터 플랫폼의 기능 :부하들을 기술적인 요소들을 결합하여 해소 컴퓨팅 부하 발생 저장 부하 발생 네트워크 부하 발생 3)빅데이터 플랫폼의 조.. 공감수 1 댓글수 0 2023. 6. 22.
[빅데이터 분석기사] [1-1]빅데이터의 이해 - 빅데이터 개요 및 활용 ▶빅데이터 개요 및 활용 1)데이터의 정의 데이터는 추론과 추정의 근거를 이루는 사실 현실 세계에서 관찰하거나 측정하여 수집한 사실 2)데이터의 특징 단순한 객체로도 가치가 있으며 다른 객체와의 상호관계 속에서 더 큰 가치를 가짐 추론, 추정, 예측, 전망을 위한 근거로 당위적 특성을 가짐 3)데이터의 구분 정량적 데이터 : 숫자로 이루어짐 정성적 데이터 : 문자로 이루어짐 4)데이터의 유형 정형 데이터 : 정해진 형식과 구조에 맞게 저장되도록 구성, 연산가능 ex) RDBMS(관계형 데이터베이스) 등 반정형 데이터 : 데이터 형식과 구조가 유연하고 스키마 정보를 데이터와 함께 제공, 연산불가 ex) JSON, XML, RDF, HTML 등 비정형 데이터 : 구조가 정해지지 않은 대부분의 데이터 ex) .. 공감수 1 댓글수 0 2023. 6. 13.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.