최적화 기법

1. 확률적 경사하강법(Stochastic Gradient Descent)

무작위 샘플링된 하나의 샘플로 그레디언트를 계산하고 매개변수를 업데이트. 배치의 크기가 1인 경사하강법

2. 미니배치 확률적 경사하강법(Batch Gradient Descent)

한번 매개변수를 업데이트 할 때마다 전체 데이터셋을 사용

3. 모멘텀(Momentum)

SGD가 가는 방향에 가속도를 부여, 진동을 줄이고 더 빠르게 학습

4. Adagrad

매개변수별 적응 학습률 사용. 업데이트가 빈번히 수행된 매개변수들은 낮은 학습률, 그렇지 않은 매개변수들은 높은 학습률

5. Adam

오래된 기울기의 영향력을 지수적으로 줄여 adagrad + 모멘텀 더한것.