목록batch (1)

연구하는 안씨의 기록

[최적화] Batch Size와 경사 하강법(Gradient Descent)

이전 게시글에서 각 하이퍼파라미터의 의미와 용도에 대해 배워보았다. 그런데, 이런 하이퍼파라미터를 변경시켜 학습을 진행하면, 구체적으로 어떻게 달라지는 것일까? 이번 게시글에서는 데이터가 5개라고 가정하고, batch_size를 1에서 2로 늘릴 때 어떤 변화가 일어나는지 경사하강법과 연관시켜 설명해보도록 한다. 기본 전제아래와 같이, 5개의 데이터 개수에 대해 learning rate와 epoch는 고정시키고, batch size만 1에서 2로 변경하면 학습 진행이 어떻게 달라지는지에 대해 이야기해보겠다.(데이터 개수라는 것은 학습시키기 위해 준비해 둔 데이터셋의 개수를 의미한다.)데이터 개수: 5개 (D = [D1, D2, D3, D4, D5])learning rate: 0.01 (동일)batch_s..
인공지능 2025. 3. 6. 14:26
이전 Prev 1 Next 다음