여러 활성함수와 각 활성함수의 도함수 (relu, sigmoid, tanh)

1. sigmoid

(1) 함수

 

(2) 도함수

 

2. tanh

(1) 함수

 

(2) 도함수

 

3. relu

 

(2) 도함수

 

* 출처 : 패스트캠퍼스 - 수학적으로 접근하는 딥러닝 올인원 패키지 Online. 신경식강사