반응형
batch사이즈가 작을수록 데이터 하나하나의 값을 잘 반영하지만, 많이 돌아간다.
반면 batch사이즈가 클 수록 여러가지 데이터가 평균을 잘 반영하기 때문에 global minimum을 향해 잘 간다.
그리고 batch 사이즈가 클 수록 다양한 데이터들로 cost function을 구성하기 때문에 우리가 원하는 둥근 밥그릇 모양이 만들어 진다.
1. batch size=2 (2개의 데이터로 cost function이 만들어진것)
2. batch size = 4
3. batch size = 32 (보통 데이터를 학습할 때 batch size는 32가 적절하다)
* 출처 : 패스트캠퍼스 수학적으로 접근하는 딥러닝 올인원 패키지 Online.
반응형