티스토리

wisdiom 아니고 wisdom
검색하기

블로그 홈

wisdiom 아니고 wisdom

spreadyourwisdiom21.tistory.com/m

向陽花木

구독자
1
방명록 방문하기
공지 C, C++, STL, openGL ⋯ 모두보기

주요 글 목록

  • [빅분기 실기 예시문제] 작업형 제1유형 : 데이터 처리 영역 🔥 선행 필수 내용 https://spreadyourwisdiom21.tistory.com/8 2. 데이터 사전 처리 Data Preprocessing 데이터 분석의 정확도는 분석 데이터의 품질에 의해 좌우된다. 데이터 품질을 높이기 위해 누락 데이터, 중복 데이터 등 오류를 수정하고 분석 목적에 맞게 변형하는 과정이 필요 spreadyourwisdiom21.tistory.com 작업형 제1유형 : 데이터 처리 영역¶ Q. mtcars 데이터셋(mtcars.csv)의 qsec 컬럼을 최소최대 척도(Min-Max Scale)로 반환한 후 0.5보다 큰 값을 가지는 레코드 수를 구하시오. 📚 Library¶ In [ ]: import pandas as pd import numpy as np 🔍 데이터 살펴보.. 공감수 0 댓글수 0 2021. 6. 1.
  • [빅분기 실기 예시문제] 단답형 문제 여러 명의 사용자들이 컴퓨터에 저장된 많은 자료들을 쉽고 빠르게 조회, 추가, 수정, 삭제할 수 있도록 해주는 소프트웨어는 무엇인가? 데이터베이스 관리 시스템(DBMS) 공감수 0 댓글수 0 2021. 5. 25.
  • 제2회 빅데이터 분석기사 필기 후기 🏫 : 문정중학교 📆 : 2021년 4월 17일 (토) 10:00 📝 생각보다 많은 재직자분들이 시험을 보러 온 것 같아서 놀랐다. 그리고 솔직히 첫 시험이라 난이도가 쉬울거라고 생각했다. 근데 문제를 풀면서 내가 너무 쉽게 생각했다는 것을 알았다 ^^,, 문제가 한번에 이해가 되지 않게 냈다고 해야 하나. 문제와 답을, 말을 너무 어렵게 써놨다는 생각이 들면서,, 큐넷이 생각났다,,^^ㅎ,,, 마지막에 마지막까지 헷갈리는 문제 고민하다가 어쩌피 모르는거 고민해서 뭐하나 싶어 제출했다. 나와서 시험본 친구들이랑 얘기하다가 정답이 두 개일 수 있다고 문제지 앞 페이지에 적어놨다고 한다. 진짜 그때... 너무 어이없고 허탈하고 화도 나고,,^^,, 그런건 앞 페이지를 반드시 읽어주세요 라든가, 방송으로 유의.. 공감수 0 댓글수 0 2021. 5. 25.
  • 35. 분석 결과 해석 및 활용 데이터 시각화, Data Visualization (1) 데이터 시각화 기능 설명 기능 : 데이터의 시각화를 통해 전달하려는 메시지와 주요한 분석 결과를 설명하는 기능 탐색 기능 : 데이터의 숨겨져 있는 관계와 패턴을 찾기 위한 시각적 분석 기능 표현 기능 : 데이터를 활용한 개인 작품이나 예술적인 표현을 통해 이야기 전달과 공감을 불러일으키기 위한 기능 (2) 데이터 시각화 유형 시간 시각화 : 시간 흐름에 따른 변화를 통해 경향(트렌드) 파악 막대 그래프, 누적 막대 그래프, 선 그래프, 영역 차트, 계단식 그래프 분포 시각화 도넛 차트, 파이 차트, 트리맵, 누적 연속 그래프 관계 시각화 : 집단 간의 상관관계를 확인하여 다른 수치의 변화 예측 산점도(상관관계, 군집화, 이상값 패턴 파악 유용), .. 공감수 1 댓글수 0 2021. 3. 30.
  • 34. 분석 모형 개선 (1) 과대 적합 방지 과대 적합은 제한된 학습 데이터 세트에 너무 지나치게 특화되어 새로운 데이터에 대한 오차가 매우 커지는 현상이다. 모델의 파라미터 수가 많거나 학습용 데이터 세트의 양이 부족한 경우에 발생한다. 데이터 증강 데이터의 양이 적을 경우, 데이터를 변형해서 늘릴 수 있다. 모델의 복잡도 감소 은닉층의 수 감소 모델의 수용력 낮추기 가중치 규제 적용 L1 규제 : λ|ω} L2 규제 : ½λω² 드롭아웃(Dropout) : 학습 과정에서 신경망 일부를 사용하지 않는 방법 초기 드롭아웃 공간적 드롭아웃 시간적 드롭아웃 (2) 매개변수 최적화 학습 모델과 실제 레이블과의 차이는 손실 함수로 표현되며, 학습의 목적은 오차, 손실 함수의 값을 최대한 작게 하도록 하는 매개변수(가중치, 편향)를 .. 공감수 0 댓글수 0 2021. 3. 30.
  • 33. 교차 검증, Cross Validation 교차 검증, Cross Validation 모델의 일반화 오차에 대해 신뢰할 만한 추정치를 구하기 위해 훈련, 평가 데이터를 기반으로 하는 검증 기법이다. 홀드 아웃 교차 검증 : 전체 데이터를 *비복원추출 방법을 이용하여 랜덤하게 학습 데이터와 평가 데이터로 나눠 검증하는 기법 다중 교차 검증 랜덤 서브샘플링 : 모집답으로부터 조사의 대상이 되는 표본을 무작위로 추출하는 기법 K-Fold Cross Validation : 데이터 집합을 무작위로 동일 크기를 갖는 K개의 부분 집합으로 나누고, 그 중 1개 집합을 평가 데이터로 나머지 (K-1)개 집합을 학습 데이터로 선정하여 분석 모형을 평가하는 기법 LOOCV : 전체 데이터 N개에서 1개의 샘플만을 평가 데이터에 사용하고 나머지 (N-1)개는 학습 .. 공감수 0 댓글수 0 2021. 3. 24.
  • 32. 비모수 통계 비모수 통계 평균이나 분산 같은 모집단의 분포에 대한 모수성을 가정하지 않고 분석하는 통계적 방법 순위와 부호에 기초한 방법 위주로 이상값으로 인한 영향이 적다*. 구분 비모수 통계 모수 통계 단일 표본 - 부호 검정 - 윌콕슨 부호 순위 검정 - 단일 표본 T-검정 두 표본 - 윌콕슨 순위 합 테스트 - 독립 표본 T-검정 - 부호 검정 - 윌콕슨 부호 순위 검정 - 대응 표본 T-검정 분산 분석 크루스칼-왈리스 검정 - ANOVA 무작위성 *런 검정 - 없음 상관 분석 스피어만 순위 상관계수 피어슨 상관계수 *런 검정(Run Test) : 두 개의 값을 가지는 연속적인 측정값들이 어떤 패턴이나 경향이 없이 임의적으로 나타난 것인지를 검정하는 방법 런(Run)은 동일한 측정값들이 시작하여 끝날 때까지의.. 공감수 0 댓글수 0 2021. 3. 20.
  • 31. 앙상블 분석 앙상블, Ensemble 여러 가지 동일한 종류 또는 서로 상이한 모형들의 예측/분류 결과를 종합하여 최종적인 의사결정에 활용하는 기법 (1) 앙상블 특징 보다 높은 신뢰성 확보 정확도 상승 원인분석에 부적합 (2) 앙상블 기법 종류 배깅(Bagging) : 학습 데이터에서 n개의 부트스트랩 자료를 생성하고, 각 자료를 모델링한 후 결합하여 다수결을 통해 최종 예측 모형을 만다는 알고리즘이다. 분산감소, 결측값이 존재할 때 강함, 소량 데이터 유리, 단순할수록 유리 부스팅(Boosting) : 예측력이 약한 모형들을 결합하여 강한 예측 모형을 만드는 방법 예측력 강화, 가중치 재조정, 과대적합 없음, 대용량 데이터 유리, 복잡할수록 유리 랜덤 포레스트(Random Forest) : 배깅과 부스팅보다 더 .. 공감수 0 댓글수 0 2021. 3. 20.
  • 30. 비정형 데이터 분석 비정형 데이터 분석 비정형 데이터 안에서 체계적인 통계적 규칙이나 패턴을 탐색하고 이를 의미 있는 정보로 변환함으로써 기업의 의사결정에 적용하는 분석기법 (1) 비정형 데이터 분석 기법 텍스트 마이닝 정보 추출, 문서 요약, 분류, 군집화 오피니언 마이닝 웹 마이닝 웹 내용 마이닝, 웹 사용 마이닝, 웹 구조 마이닝 사회 연결망 분석(SNA) (주요 속성) - 응집력, 구조적 등위성, 명성, 범위, 중계 (측정지표) - 연결 정도, 포괄성, *밀도, *연결 정도 중심성, *근접 중심성, *매개 중심성 감성 분석 *밀도 : 네트워크 내에서 노드 간의 전반적인 연결 정도 수준을 나타내는 지표, (실제 연결된 연결 수 / 전체 연결 가능 수) *연결 정도 중심성 : 특정 노드가 연결망 내에서 연결된 다른 노드.. 공감수 0 댓글수 0 2021. 3. 20.
  • 29. 딥러닝, Deep Learning 딥러닝, Deep Learning 여러 비선형 변환 기법의 조합을 통해 높은 수준의 추상화를 시도하는 기계 학습 알고리즘의 집합 (1) 딥러닝 부각 이유 기존 인공신경망 모델의 문제점인 기울기 소실이 해결되었다. 강력한 GPU를 연산에 활용하여 하드웨어 연산속도를 높여 분석시간을 단축하였다. 빅데이터 등장과 SNS 활용이 증가하여 학습에 필요한 데이터 확보가 가능해졌다. (2) 딥러닝 알고리즘 DNN(Deep Neural Network) CNN(Convolution Neural Network, 합성곱 신경망) RNN(Recurrent Neural Network) : 은닉층에서 재귀적인 신경망을 갖는 알고리즘 장기 의존성 문제, 기울기 소실문제 → LSTM, GRU GAN(Generative Adversa.. 공감수 0 댓글수 0 2021. 3. 20.
  • 28. 시계열 분석 시계열 분석 연도별, 분기별, 월별 등 시계열로 관측되는 자료를 분석하여 미래를 예측하기 위한 분석기법 (1) 정상성 정상성은 시점에 상관없이 시계열의 특성이 일정하는 의미이다. 시계열 분석을 위해서는 정상성을 만족해야 한다. 평균이 일정하다. 분산이 시점에 의존하지 않는다. ✔ 공분산은 시차에만 의존하고 시점 자체에는 의존하지 않는다. (2) 시계열 모형 자기 회귀 모형(AR 모형) : 현시점의 자료가 p 시점 전의 유한개의 과거 자료로 설명될 수 있다는 의미 1차 자기 회귀 모형 2차 자기 회귀 모형 이동평균모형(MA 모형) : 시간이 지날수록 관측치의 평균값이 지속적으로 증가하거나 감소하는 시계열 모형 현시점의 자료를 유한개의 백색잡음의 선형 결합으로 표현했기 때문에 항상 정상성을 만족하므로 정상정.. 공감수 0 댓글수 0 2021. 3. 20.
  • 27. 다변량 분석 다변량 분석 (1) 상관분석 피어슨의 상관계수 : 두 변수 간 선형관계의 크기를 측정하는 값 모 상관계수 : 모집단에 적용되는 경우 p로 표시 -1 ≤ p ≤ 1 이고, X와 Y가 독립이면 p=0 이다. 표본 상관계수 : 모집단 피어슨의 상관계수를 추정하기 위해 표본 상관계수 r을 사용 스피어만의 상관계수 : 두 변수 간의 비선형적인 관계도 나타낼 수 있는 값 (2) 다차원 척도법(MDS) 개체들 사이의 유사성, 비유사성을 측정하여 2차원 또는 3차원 공간상에 점으로 표현하여 개체들 사이의 집단화를 시각적으로 표현하는 분석 방법 개체들의 거리는 유클리드 거리행렬을 이용한다. 스트레스 값을 이용해 관측 대상들의 적합도 수준을 나타낸다. 스트레스 값은 0에 가까울수록 적합도 수준이 완벽하고 1에 가까울수록 .. 공감수 0 댓글수 0 2021. 3. 20.
  • 26. 범주형 자료 분석 범주형 자료 분석 종속변수가 하나이고 범주형인 데이터를 분석하여 모형의 유의성과 독립변수의 유의성을 알아보는 분석 방법 독립변수 - 범주형 분할표 분석 교차 분석(카이제곱 검정) 피셔의 정확 검정 독립변수 - 수치형 로지스틱 회쉬 분석 (1) 분할표 분석 1원(One-way) 분할표 : 범주형 변수 1개 2원(Two-way) 분할표 : 범주형 변수 2개 다원(Multi-way) 분할표 : 범주형 변수 3개 이상 사건 발생 O 사건 발생 X 합계 관심 집단 a b a + b 비교 집단 c d c + d 합계 a + c b + d a + b + c + d 📍 상대위험도(Relative Risk, RR) 관심 집단의 위험률과 비교 집단의 위험률에 대한 비, (a/(a+b)) / (c/(c+d)) * 상대위험도.. 공감수 0 댓글수 0 2021. 3. 20.
  • 25. 군집 분석, Cluster Analysis 군집 분석, Cluster Analysis 관측된 여러 개의 변숫값들로부터 유사성에만 기초하여 n개의 군집으로 집단화하여 집단의 특성을 분석하는 다변량 분석기법 (1) 군집 분석 결과 해석 군집의 결과는 계통도 또는 *덴드로그램의 형태로 주어지며 각 개체는 하나의 군집에만 속한다. *덴드로그램 : 군집의 개체들이 결합되는 순서를 나타내는 트리 형태의 구조 (2) 군집 간의 거리 계산 연속형 변수 거리 수학적 거리 민코프스키 거리 맨하튼 거리 : m=1, 두 점 간 차의 절대값을 합한 값 유클리드 거리 : m=2, 두 점 간 차의 제곱하여 모두 더한 값 통계적 거리 표준화 거리 마할라노비스 거리 명목형 변수 거리 단순 일치 계수 자카드(Jaccard) 계수 : 두 집합 사이의 유사도를 측정 J(A, B) .. 공감수 0 댓글수 0 2021. 3. 18.
  • 24. 연관성 분석, Association Analysis 연관성 분석, Association Analysis 데이터 내부에 존재하는 항목 간의 상호 관계 혹은 종속 관계를 찾아내는 분석기법이다. (1) 특징 목적변수가 없어 분석 방향이나 목적이 없어도 적용이 가능 → 무방향성 데이터마이닝 기법 조건 반응(if-then)으로 표현되어 결과를 쉽게 이해하기 쉽다. 매우 간단하게 분석을 위한 계산이 가능하다. 적절한 세분화로 인한 품목 결정이 잠정이지만 너무 세분화된 품목은 의미없는 결과를 도출한다. (2) 연관성 분석 주요 용어 Support, 지지도 : 전체 거래 중 항목 A와 B를 동시에 포함하는 거래 비율 Ρ(Α∩Β) = A와 B가 동시에 포함된 거래 수 / 전체 거래 수 Confidence, 신뢰도 : A 상품을 샀을 때 B 상품을 살 조건부 확률에 대한 .. 공감수 0 댓글수 0 2021. 3. 18.
  • 23. 서포트 벡터 머신, SVM SVM, Support Vector Machine 데이터를 분리하는 초평면(hyperplane) 중에서 데이터들과 거리가 가장 먼 초평면을 선택하여 분리하는 지도 학습 기반의 이진 선형 분류 모델 벡터 공간에서 학습 데이터가 속한 2개의 그룹을 분류하는 선형분리자를 찾는 기하하적 모델 🚨🙋‍♀️🤔 최대 마진 초평면(MMH, Maximum Margin Hyperplane, 가장 멀리 분리되게 만드는 직선)이 데이터에 대해 가장 일반화를 잘할 것이기 때문에. 최대 마진은 임의의 노이즈가 추가돼도, 각 클래스는 경계의 올바른 쪽에 남게 될 것이다. (1) 응용 연소 엔진의 고장, 보안 결함이나 지진과 같은 드물지만 중요한 사건의 탐지 문서에서 사용되는 언어의 식별이나 주제별 문서 분류와 같은 텍스트 범주화 사.. 공감수 0 댓글수 0 2021. 3. 16.
  • 22. 인공신경망, ANN 인공신경망, Artificial Neural Network 사람 두뇌의 신경세포인 뉴런이 전기신호를 전달하는 모습을 모방한 기계학습 모델 (1) 인공신경망의 역사 1세대 - 인공신경망이라는 개념이 최초로 제안됨 - 퍼셉트론이라는 선형 분류가 가능한 순방향 신경망을 제안 - XOR 선형 분리 불가 문제 발생 2세대 - 다층 퍼셉트론과 *역전파 알고리즘 등장 - 은닉층을 통해 XOR 문제 해결 - 과적합 문제, 기울기 소실 문제 발생 3세대 - 딥러닝(CNN, RNN 등) 활용 - 과적합 문제 및 기울기 소실 문제 해결 *역전파 알고리즘 : 역방향으로 가중치 갱신을 통해 오차를 최소화시키도록 학습 시키는 알고리즘 (2) 퍼셉트론 인간의 신경망에 있는 뉴런의 모델을 모방하여 입력층, 출력층으로 구성한 인공신경.. 공감수 0 댓글수 0 2021. 3. 16.
  • 21. 의사결정 나무, Decision Tree Decision Tree, 의사결정 나무 데이터들이 가진 속성들로부터 분할 기준 속성을 판별하고, 분할 기준 속성에 따라 트리 형태로 모델링하는 분류 예측 모델 (1) 응용 신청자 거절 기준이 명확히 문서화되고 편향되지 않은 신용 평가 모델 경영진이나 광고 대행사와 공유될 고객 만족이나 고객 이탈과 같은 고객 행동 마케팅 연구 실험실 측정, 증상, 질병 진행률을 기반으로 하는 질병 진단 (2) 장단점 🥰 😥 - 많은 유형의 문제에 잘 실행되는 범용 분류기이다. - 수치 특징, 명목 특징, 누락 데이터를 다룰 수 있는 고도로 자동화된 학습 과정이다. - 중요하지 않은 특징은 제외한다. - 작은 데이터셋과 큰 데이터셋에 모두 사용될 수 있다. - 다른 복잡한 모델보다 더 효율적이다. - 해석의 용이성 - 상.. 공감수 0 댓글수 0 2021. 3. 16.
  • 20. 회귀 분석, Regression Analysis 회귀 분석, Regression Analysis 하나 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계기법 변수들 사이의 인과관계를 밝히고 모형을 적합(Fit)하여 관심 있는 변수를 예측하거나 추론하기 위한 분석 (1) 회귀 모형 가정 선형성 독립성 등분산성 비상관성 정상성 (2) 회귀 분석 유형 단순 회귀분석 : 독립변수와 종속변수가 각각 한 개이며 오차항이 있는 선형관계 회귀계수 = 최소제곱법; 오차 제곱의 합이 가장 작은 해 결정계수 : 전체 데이터를 회귀 모형이 얼마나 잘 설명하고 있는지를 보여주는 지표로 회귀선의 정확도를 평가 SSR / SST (단점) 독립변수의 수가 많아지면 결정계수가 높아진다. 다중 회귀분석 F-통계량의 p-값이 0.05보다 작으면 추정된 회귀식은 통계적으로.. 공감수 0 댓글수 0 2021. 3. 16.
  • 19. 분석 모형 절차 (1) 분석 모형 통계 기반 분석 모형 선정 기술 통계 : 수집된 데이터를 확률·통계적으로 정리, 요약하는 기초적인 통계 상관 분석 : 두 개 이상의 변수 간에 존재하는 상호 연관성의 정도를 측정하여 분석하는 방법 회귀 분석 : 하나 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계 기법 → 인과관계 분산 분석(ANOVA, 변량분석) : 두 개 이상의 집단 간 비교를 수행하고자 할 때 집단 내의 분산의 비교로 얻은 분포를 이용하여 가설검정을 수행하는 방법 주성분 분석(PCA) 판별 분석 데이터 마이닝 기반 분석 모형 선정 분류 모델 : 통계적 기법, 트리 기반 기법, 최적화 기법, 기계학습 예측 모델 : 회귀 분석, 의사결정나무, 시계열 분석, 인공신경망 군집화 모델 - 계층적 방법(응집.. 공감수 0 댓글수 0 2021. 3. 15.
  • 18. 추론 통계 추론 통계 모집단의 표본(Sample)을 가지고 모집단의 특성(모수)을 추론하고 그 결과의 신뢰성을 검정하는 것이다. 1️⃣ 점 추정 (1) 점 추정의 조건 ✔ 불편성, Unbiasedness : 추정량의 기댓값은 모집단의 모수와 차이가 없음 효율성 : 추정량의 분산은 작을수록 좋음 일치성 : 표본의 크기가 아주 커지면, 추정량이 모수와 거의 같아짐 충족성 : 추정량은 모수에 대하여 모든 정보를 제공 2️⃣ 구간 추정 추정값에 대한 신뢰도를 제시하면서 범위로 모수를 추정하는 기법 추정량의 분포에 대한 전제와 신뢰수준이 주어져야 함 (1) 구간 추정 용어 신뢰 수준 추정값이 존재하는 구간에 모수가 포함될 확률 100 * (1-α) α : 조사에서 인정되는 오차 수준(유의수준) 신뢰 구간 신뢰수준을 기준으로.. 공감수 0 댓글수 0 2021. 3. 11.
  • 17. 기술 통계 기술통계 데이터 분석의 목적으로 수집된 데이터를 확률·통계적으로 정리, 요약하는 기초적인 통계. (목적) 데이터 분포의 특징을 파악 1️⃣ 기초 통계량 평균(Mean) 중위수(Median) 최빈값(Mode) 범위 분산 표준편차 평균의 표준 오차, SEM 분포 첨도 왜도 2️⃣ 상관분석 두개 이상의 변수 간에 존재하는 연관성의 정도(하나의 변수가 다른 변수와 어떤 연관성을 가지고 변화하는가)를 측정하여 분석하는 방법 (1) 분석 방법 단순 상관분석 : 두 변수 사이의 연관 정보를 알아내는 분석 다중 상관분석 : 셋 또는 그 이상의 변수를 사이의 연관 정도를 분석 (2) 상관분석의 종류 수치적 데이터 변수 상관 분석 - 피어슨 상관계수 순서적 데이터 변수 상관 분석 - 스피어만 순위상관계수 명목적 데이터 변.. 공감수 0 댓글수 0 2021. 3. 11.
  • 텍스트(Text) 탐색 비정형 데이터 - 텍스트, Text (1) 텍스트 탐색 방법 분석 목적 설정 및 데이터 수집 - 데이터 전처리 및 변환 - 텍스트 분류 - 텍스트 군집 - 텍스트 요약 - 분석 결과 시각화 및 활용 (2) 데이터 전처리 비정형 데이터를 정형 데이터로 변환하는 작업 Text 레벨 전처리 : 크롤링 등으로 데이터 추출 후 HTML, 태그나 XML 문법 제거 Sentence 레벨 전처리 : 마침표, 문장 부호를 사용하여 문장 구분 Token 레벨 전처리 문장 토큰화 / 파싱 : 텍스트의 단어, 어절 분리 불용어 제거 : 의미없는 단어 제거 어간(Stemming) 추출 : 단어들에서 공통 음절을 뽑아 내는 작업 (3) 데이터 변환 1) 문서를 연속형의 실수 벡터로 표현할 수 있도록 변환 Bag of Words .. 공감수 0 댓글수 0 2021. 3. 11.
  • 16. 고급 데이터 탐색 1️⃣ 시공간 데이터 탐색 (1) 시공간 데이터의 타입 포인트 타입 라인 타입 폴리곤 타입 폴리라인 타입 (2) 행정구역 및 좌표계 표시 지도 유형 코로플레스 지도, Choropleth Map 등치지역도 데이터 수치에 따라 지정한 색상 스케일로 영역을 색칠해 표현 범주형 데이터 - 서로 다른 색상 연속형 데이터 - 한 색상의 명도 카토그램, Cartogram 버블 플롯맵, Bubble Plot Map 2️⃣ 다변량 데이터 탐색 일변량 데이터 탐색 - 기술 통계량, 그래프 통계량 이변량 데이터 탐색 - 상관분석, 회귀분석, 산점도 등 다변량 데이터 탐색 - 주성분 분석, 판별 분석, 산점도 행렬, 별 그림 공감수 0 댓글수 0 2021. 3. 11.
  • 15. 데이터 탐색 1️⃣ 탐색적 데이터 분석 (EDA, Exploratory Data Analysis) 📍 EDA의 4가지 주제(특징) ✔ 저항성(Resistance) : 수집된 자료에 오류점, 이상값이 있을 떄에도 영향을 적게 받는 성질 저항성을 높이는 방법 : (1) 산술평균 사용, (2) 이상치 제거 잔차 해석 : 관찰 값들이 주 경향으로부터 얼마나 벗어난 정도 자료 재표현 : 데이터 분석과 해석을 단순화할 수 있도록 원래 변수를 적당한 척도(로그 변환, 제곱근 변환, 역수 변환 등)로 바꾸는 것 → 표준화 현시성 2️⃣ 상관관계 분석 두 개 이상의 변수 사이에 존재하는 상호 연관성의 존재 여부와 연관성의 강도를 측정하여 분석하는 방법 (1) 변수 사이의 상관관계의 종류 : 양(+)의 상관관계, 음(-)의 상관관계,.. 공감수 0 댓글수 0 2021. 3. 11.
  • 14. 변수(Feature) 선택 변수, Feature 데이터 모델에서 사용하는 예측을 수행하는 데 사용되는 입력변수 (1) 변수 유형 ✔ 인과 관계 독립변수 / 종속변수 변수 속성 범주형 - 명목형 , 순서형 수치형 - 이산형 , 연속형 1️⃣ 변수 선택 데이터의 독립변수(x) 중 종속변수(y)에 가장 관련성이 높은 변수만을 선정하는 방법 (2) 변수 선택 특징 변수 선택은 사용자가 해석하기 쉽게 모델을 단순화 해준다. 훈련 시간 축소, 차원의 저주 방지, 과적합을 줄여 일반화를 해준다. 모델의 정확도 향상 및 성능 향상을 기대할 수 있다. (3) 변수 선택 기법 ✔ 필터 기법 : 특정 모델링 기법에 의존하지 않고, 데이터의 통계적 특성으로부터 변수를 택하는 기법, (1, 1) (사례) 정보소득, 카이제곱 검정, 피셔 스코어, 상관계수.. 공감수 0 댓글수 0 2021. 3. 10.
  • 13. 데이터 전처리 ⭐ 1️⃣ 데이터 정제 결측값을 채우거나 이상값을 제거하는 과정을 통해 데이터의 신뢰도를 높이는 작업 (1) 데이터 오류 원인 ✔ 결측값, Missing Value : 필수적인 데이터가 입력되지 않고 누락된 값 노이즈, Noise : 실제는 입력되지 않았지만 입력되었다고 잘못 판단된 값 이상값, Outlier : 데이터의 범위에서 많이 벗어난 아주 작은 값이나 아주 큰 값 (2) 데이터 정제 기법 ✔ 변환, Transform : 다양한 형태로 표현된 값을 일관된 형태로 변환하는 작업 파싱, Parsing : 데이터를 정제 규칙을 적용하기 위한 유의미한 최소 단위로 분할하는 작업 보강, Enhancement : 변환, 파싱, 수정, 표준화 등을 통한 추가 정보를 반영하는 작업 2️⃣ 데이터 세분화 (Data .. 공감수 0 댓글수 0 2021. 3. 10.
  • NoSQL NoSQL (Not Only SQL) NoSQL은 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어로 데이터 저장에 고정된 테이블 스키마가 필요하지 않고 조인(Join) 연산을 사용할 수 없으며, 수평적으로 확장(scale-out)이 가능한 DBMS이다. NoSQL은 대규모 데이터를 처리하기 위한 기술로 확장성, 가용성, 높은 성능을 제공한다. 스키마-리스(Schema-less)로 고정된 스키마 없이 자유롭게 데이터베이스의 레코드에 필드를 추가할 수 있다. 대부분 오픈소스이며 구글 BigTable, 아파치 HBase, 아마존 SimpleDB, 마이크로소프트 SSDS 등이 있다. (1) NoSQL 특성(BASE) Basically Available 언제든지 데이터에 접근할 수 있어야 하는 속성 So.. 공감수 0 댓글수 0 2021. 3. 8.
  • 12. 데이터 저장 (1) 빅데이터 저장기술 빅데이터 저장 시스템은 대용량 데이터 집합을 저장하고 관리하는 시스템으로 대용량의 저장 공간, 빠른 처리 성능, 확장성, 신뢰성, 가용성 등을 보장해야 한다. (2) 빅데이터 저장기술 분류 분산 파일 시스템 ✔ 컴퓨터 네트워크를 통해 공유하는 여러 호스트 컴퓨터의 파일에 접근할 수 있게 하는 파일 시스템 저용량, 저성능, 비용 ↓, 범용성 O (제품) 구글 파일 시스템(GFS), 하둡 분산 파일 시스템(HDFS), 러스터(Lustre) 데이터베이스 클러스터 ✔ 관계형 데이터베이스 관리 시스템으로 하나의 데이터베이스를 여러 개의 서버상에 구축하는 시스템 가용성 O (제품) 오라클 RAC, MSSQL, MySQL NoSQL ✔ 전통적인 RDBMS와 다른 DBMS를 지칭하기 위한 용어.. 공감수 0 댓글수 0 2021. 3. 8.
  • 11. 데이터 적재 (1) 빅데이터 적재 소프트웨어 아키텍처 정의 기반 소프트웨어 정의 ( = Open Source) 하둡 도입 검토 인 메모리(In-Memory) 데이터베이스 도입 검토 데이터 분석 플랫폼 적용 검토 데이터 시각화 적용 검토 빅데이터 적재 소프트웨어 아키텍처 정의 수집 : Crawler, ETL, 연계/수집 플랫폼 적재 및 저장 : RDB저장소, NoSQL저장소, Object저장소, ETL, 빅데이터 자원관리 분석 : 빅데이터 분석 모델 / 분석 플랫폼 활용 : 데이터 시각화, 데이터 활용 플랫폼, Open API 서비스 (2) 데이터 적재 도구 플루언티드(Fluentd) 트레저 데이터에서 개발된 크로스 플랫폼 오픈 소스 데이터 수집 소프트웨어 루비 프로그래밍 언어로 작성 플럼(Flume) 스크라이브(Sc.. 공감수 0 댓글수 0 2021. 3. 8.
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.