sigmoid function(softmax function)과 logit function

0. 서론

확률을 input으로 받았을 때 적절한 y값을만들어 주는 logit function에 대해서 알아보았다

(sosoeasy.tistory.com/352)

그렇다면 logit값을 입력으로 받았을 때 이를 확률로 바꿔주는 sigmoid(label이 3개이상일때는 softmax)에 대해서 알아본다.

 

1. logit의 함수는 아래와 같다

 

 

 

2. logit 함수로 부터 sigmoid함수를 역함수 형태로 유도할 수 있다

 

 

 

즉 각각의 함수의 역할은 다음과 같다

 

 

 

3. softmax는 여러 lable이 있을때 쓰는 활성함수. 분모가 달라진다

 

 

 

4. DNN에서의 흐름

output layer의 결과값을 logit으로 생각하면, 이 logit을 sigmoid( softmax )함수에 적용하면 결과값으로 확률이 나온다.

 

 

 

* 출처 : 패스트캠퍼스 수학적으로 접근하는 딥러닝 올인원 패키지 Online.