20. 회귀 분석, Regression Analysis

회귀 분석, Regression Analysis

• 하나 이상의 독립변수들이 종속변수에 미치는 영향을 추정할 수 있는 통계기법
• 변수들 사이의 인과관계를 밝히고 모형을 적합(Fit)하여 관심 있는 변수를 예측하거나 추론하기 위한 분석

(1) 회귀 모형 가정

• 선형성
• 독립성
• 등분산성
• 비상관성
• 정상성

 

(2) 회귀 분석 유형

• 단순 회귀분석 : 독립변수와 종속변수가 각각 한 개이며 오차항이 있는 선형관계
  • 회귀계수 = 최소제곱법; 오차 제곱의 합이 가장 작은 해
  • 결정계수 : 전체 데이터를 회귀 모형이 얼마나 잘 설명하고 있는지를 보여주는 지표로 회귀선의 정확도를 평가
    • SSR / SST
    • (단점) 독립변수의 수가 많아지면 결정계수가 높아진다.
• 다중 회귀분석
  • F-통계량의 p-값이 0.05보다 작으면 추정된 회귀식은 통계적으로 유의
  • 결정계수나 수정된 결정계수를 통해 검정
  • 다중공선성(Multicollinearity) : 설명변수들 사이에 선형관계가 존재하면 회귀계수의 정확한 추정이 난해해짐
    • 검사 방법 : 분산팽창 요인(VIF), 상태지수
    • 문제 해결 방법 : 변수 제거, 주성분 회귀 및 능형 회귀 모형 적용
• 다항 회귀분석
• 곡선 회귀분석
• 로지스트 회귀분석
  • 반응변수(종속변수)가 범주형인 경우 적용되는 회귀 분석 모형
  • 새로운 설명변수의 값이 주어질 때 반응변수의 각 범주에 속할 확률이 얼마인지를 추정하여 추정 확률을 기준치에 따라 분류하는 목적으로 사용