학습용 데이터의 평균에 따른 cost function의 모양

1. 데이터의 평균이 0에 가까울때

데이터의 평균이 0에 가까울 수록 cost function의 모양이 둥근 밥그릇 모양이 된다.

 

2. 데이터의 평균이 0에 가깝지 않을때

데이터의 평균 값이 커질 수록 cost function이 좀 더 뾰족한 모양이 된다. 

따라서 학습도 ⍬_1에 대해서만 많이 수행된다 (⍬_1을 미분한 값에 x가 포함되어 있기 때문)

 

=> 따라서 데이터를 항상 정규화(평균=0, 표준편차=1) 해준 후 학습을 진행한다.

* 출처 : 수학적으로 접근하는 딥러닝 올인원 패키지 Online.