[딥러닝] 배치 사이즈(batch size) vs 에포크(epoch) vs 반복

배치 사이즈(batch size) vs 에포크(epoch) vs 반복(iteration)의 차이

 

딥러닝을 하다보면 에포크(Epoch), 배치(Batch), 반복(iteration)이라는 단어를 많이 접하게 된다. 비슷하면서도 다른 이 단어들을 이번 포스팅에 정리해 보려고 한다.

 

 

1. batch size의 의미

batch size란 정확히 무엇을 의미할까요? 전체 트레이닝 데이터 셋을 여러 작은 그룹을 나누었을 때 batch size는 하나의 소그룹에 속하는 데이터 수를 의미합니다. 전체 트레이닝 셋을 작게 나누는 이유는 트레이닝 데이터를 통째로 신경망에 넣으면 비효율적이 리소스 사용으로 학습 시간이 오래 걸리기 때문입니다.

2. epoch의 의미

딥러닝에서 epoch는 전체 트레이닝 셋이 신경망을 통과한 횟수 의미합니다. 예를 들어, 1-epoch는 전체 트레이닝 셋이 하나의 신경망에 적용되어 순전파와 역전파를 통해 신경망을 한 번 통과했다는 것을 의미합니다.

3. iteration의 의미

마지막으로 iteration은 1-epoch를 마치는데 필요한 미니배치 갯수를 의미합니다. 다른 말로, 1-epoch를 마치는데 필요한 파라미터 업데이트 횟수 이기도 합니다. 각 미니 배치 마다 파라미터 업데이터가 한번씩 진행되므로 iteration은 파라미터 업데이트 횟수이자 미니배치 갯수입니다. 예를 들어, 700개의 데이터를 100개씩 7개의 미니배치로 나누었을때, 1-epoch를 위해서는 7-iteration이 필요하며 7번의 파라미터 업데이트가 진행됩니다.

 

출처 : losskatsu.github.io/machine-learning/epoch-batch/#%EC%9E%A0%EA%B9%90-%EC%84%A0%ED%98%95%EB%8C%80%EC%88%98-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%97%90-%EB%8C%80%ED%95%B4-%EC%A2%80-%EB%8D%94-%EC%9E%90%EC%84%B8%ED%9E%88-%EC%95%8C%EA%B3%A0-%EC%8B%B6%EB%8B%A4%EB%A9%B4