14. 변수(Feature) 선택

변수, Feature

데이터 모델에서 사용하는 예측을 수행하는 데 사용되는 입력변수

 

(1) 변수 유형 ✔

• 인과 관계
  • 독립변수 / 종속변수
• 변수 속성
  • 범주형 - 명목형 , 순서형
  • 수치형 - 이산형 , 연속형

 

1️⃣ 변수 선택

데이터의 독립변수(x) 중 종속변수(y)에 가장 관련성이 높은 변수만을 선정하는 방법

 

(2) 변수 선택 특징

• 변수 선택은 사용자가 해석하기 쉽게 모델을 단순화 해준다.
• 훈련 시간 축소, 차원의 저주 방지, 과적합을 줄여 일반화를 해준다.
• 모델의 정확도 향상 및 성능 향상을 기대할 수 있다.

(3) 변수 선택 기법 ✔

• 필터 기법 : 특정 모델링 기법에 의존하지 않고, 데이터의 통계적 특성으로부터 변수를 택하는 기법, (1, 1)
  • (사례) 정보소득, 카이제곱 검정, 피셔 스코어, 상관계수
• 래퍼 기법 : 변수이 일부만을 모델링에 사용하고 그 결과를 확인하는 작업을 반복하면서 변수를 택해나가는 기법, (n,1)
  • (변수 선택을 위한 알고리즘 유형) : 전진 선택법, 후진 제거법, 단계적 방법
  • (사례) RFE, SFS, 유전 알고리즘
• 임베디드 기법 : 모델 자체에 변수 선택이 포함된 기법,(n, n)
  • (사례) 라쏘, 릿지, 엘라스틱 넷

 

2️⃣ 차원축소 (Dimensionality Reduction) ✔

차원축소는 분석 대상이 되는 여러 변수의 정보를 최대한 유지하면서 데이터 세트 변수의 개수를 줄이는 탐색적 분석 기법

 

• 주성분 분석, PCA
• 특이값 분해, SVD
• 요인분석
• 독립성분분석, ICA
• 다차원 척도법, MDS

 

3️⃣ 파생변수 (Derived Variance) 생성

기존 변수에 특정 조건 혹은 함수 등을 사용하여 새롭게 재정의한 변수

 

• 단위 변환
• 표현형식 변환
• 요약 통계량 변환
• 변수 결합

 

4️⃣ 변수 변환 (Variable Transformation)

분석을 위해 불필요한 변수를 제거하고, 변수를 반환하며, 새로운 변수를 생성시키는 작업

 

• 단순 기능 변환
• 비닝(Binning)
• 정규화(Normalization)
• 표준화(Standardization)

 

5️⃣ 불균형 데이터 처리

탐색하는 타깃 데이터의 수가 매우 극소수인 경우 불균형 데이터 처리를 한다.

 

• 언더 샘플링
• 오버 샘플링
• 임계값 이동
• 앙상블 이동