[Deep Learning] Activation Function ( 활성화 함수 ) - 2. 종류

전 포스팅에서 활성화 함수의 사용 이유에 대해서 알아보았습니다.

 

이번엔 활성화 함수의 종류에 대해서 알아보겠습니다.

 

1. Sign function

sign 함수를 활성화 함수를 사용할 경우 기준 점을 기준으로 0과 1로만 분류하기 때문에

결정 경계로 부터 거리를 신경쓰지 않습니다.

 

즉, 결정경계와 멀리 떨어져 있든 가깝던 1과 0으로 표기 하기 때문이죠.

(분류가 잘 되지 않음)

 

 

그래서 이런 경계를 부드럽게 표현하여 거리의 정도를 나타내는 함수를 사용하게됩니다.

거리를 고려한 결정 경계

 

---

2. Tanh 함수

• Tanh 함수는 값이 작아질 수록 -1, 거질 수록 1 에 수렴
• 가장 중요한 특징은 모든 점에서 미분이 가능
• (미분이 가능하다 == 기울기가 존재한다. )

---

3. sigmoid 함수

• sigmoid 함수는 값이 작아질 수록 0 커질 수록 1에 수렴하는 Tanh와 비슷한 함수
• 출력이 0~1사이이기 때문에 확률을 표현할 수 있고 이진분류 모델에 많이 사용
• 이 역시 모든 점에서 미분이 가능

---

4. SoftMax 함수

• 각 입력의 지수함수를 정규화한 것 - 여기서 정규화는 모든 출력의 합이 1이 되도록 만들어 주었다는 뜻.
• 각 출력은 0~1 사이의 값을 가지고 모든 출력의 합이 1이됨.
• 여러 경우의 수 중 한 가지에 속할 '확률'을 표현함으로
• 다중 분류 문제 (multi-class classification 에 쓰임 )

---

5. ReLU 함수 

• 0 보다 작은 값을 0 으로 강제하는 함수
• 딥러닝에서 가장 많이 사용되는 활성 함수
• 미분 값이 일정 ( 0 또는 1 )해서 학습이 잘 되는 특성
• 단순한 구현으로 매우 빠른 연산이 가능

ReLU 함수의 경우 다음 시간의 기울기 소실과 함께 같이 사용이유에 대해서 다뤄보겠습니다.