22. 인공신경망, ANN

인공신경망, Artificial Neural Network

사람 두뇌의 신경세포인 뉴런이 전기신호를 전달하는 모습을 모방한 기계학습 모델

 

(1) 인공신경망의 역사

1세대	- 인공신경망이라는 개념이 최초로 제안됨 - 퍼셉트론이라는 선형 분류가 가능한 순방향 신경망을 제안 - XOR 선형 분리 불가 문제 발생
2세대	- 다층 퍼셉트론과 *역전파 알고리즘 등장 - 은닉층을 통해 XOR 문제 해결 - 과적합 문제, 기울기 소실 문제 발생
3세대	- 딥러닝(CNN, RNN 등) 활용 - 과적합 문제 및 기울기 소실 문제 해결

*역전파 알고리즘 : 역방향으로 가중치 갱신을 통해 오차를 최소화시키도록 학습 시키는 알고리즘

 

 

(2) 퍼셉트론

인간의 신경망에 있는 뉴런의 모델을 모방하여 입력층, 출력층으로 구성한 인공신경망 모델

• 구성요소 : 입력값, 가중치, 순 입력함수, 활성 함수, 출력값(예측값)
• 문제점 : XOR 선형 분리 불가

 

(3) 다층 퍼셉트론

입력층과 출력층 사이에 하나 이상의 은닉층을 두어 비선형적으로 분리되는 데이터에 대해 학습이 가능한 퍼셉트론

• 문제점 : 과대적합(Over-fitting), 기울기 소실(Gradient Vanishing)

 

(4) 활성화 함수

*입력 신호의 총합을 출력 신호로 변환하는 함수

• 계단 함수(Step Function)
  • 0, 1
• 부호 함수(Sign Function)
  
  • -1, 1
• 시그모이드 함수(Sigmoid Function)
  • 0 ≤ Υ ≤ 1
  • 기울기 소실의 원인
• tanh 함수
• ReLU 함수
  • 기울기 소실 문제 해결
  • x < 0인 경우 기울기가 0이기 때문에 Dying ReLU 발생
• Leaky ReLU
  • Dying ReLU 해결

*출력층에서 사용하는 활성화 함수

• 항등 함수(Identity Function) - 회귀
• 소프트맥스 함수(Softmax function) - 분류
  • 출력값이 여러 개로 주어지고 목표치가 다범주인 경우 각 범주에 속할 사후 확률을 제공
  • 출력값의 총합은 1이 된다.

 

 

📌🧐💡 왜 신경망에서는 활성화 함수로 비선형 함수가 아닌 선형 함수는 안 되는 걸까?

• ✔💨 선형 함수를 이용하면 신경망의 층을 깊게 하는 의미가 없어지기 때문이다.