반응형
1. 학습 과정상의 차이
batch size의 크기에 따라 학습되는 과정되는 모습이 달라질 수 있다.
batch size가 작으면 순간 loss가 커지고 그에 따라서 파라미터가 급격히 변화하는 경향이 있다. 따라서 그래프가 비교적 크게 흔들린다.
=> 그 이유는 batch size가 크면 여러 데이터의 평균으로 loss가 구해지기 때문에 강건하게 변한다.
2. 학습속도상의 차이
batch size가 작을수록 파라미터를 개선하는 횟수(계산을 수행하는 횟수)가 크기 때문에 시간이 오래걸린다.
3. iterator는 batch size가 작을수록 크다.
반응형