반응형
딥러닝에서 데이터를 몇개 단위로 학습시킬것인지에 대한 하이퍼파라미터를 batch size라고 한다.
데이터의 개수가 x개 일때, batch size는 크게 3가지로 나뉜다
| batch gradient descent | mini-batch gradient descent | stochastic gradient descent | |
| 설명 | 모든 데이터를 사용해서 그 평균값으로 한번만 웨이트를 개선 | N개의 데이터씩 사용 | 1개의 데이터씩 사용 |
| 1epoch 당 iterate 횟수 | 1 | X/N | X |
| 계산속도 | 빠름 | > | 느림 |
| 신뢰도 | 낮음 | < | 높음 |
| 비고 | 거의 쓰지않음 | 주로 많이쓴다 |
반응형