loss function으로 본 데이터의 평균, 분산, 노이즈에 따른 학습의 차이

1. 분산에 따른 학습의 차이

데이터의 분산이 높을 때 보다 낮을 때 더 빠른 학습이 가능하다.

 

2. 평균에 따른 학습의 차이

평균이 커질수록 파라미터의 변화율이 크다.

⍬_1의 미분값에 x가 포함되어있고, x의 절댓값이 1이상일때 학습률이 높아지기 때문.

 

3. 노이즈에 따른 학습의 차이

노이즈가 있을땐 데이터들의 계곡이 한 점에서 교차하지 않는다.

따라서 학습은 아래와 같이 이루어 진다

 

 

* 출처 :수학적으로 접근하는 딥러닝 올인원 패키지 Online.