1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 AI 모델 효율적으로 학습시키기
Connected

연습 문제

Trainer를 활용한 그래디언트 누적

언어 번역 모델에 그래디언트 누적(gradient accumulation)을 적용하기 위해 Trainer를 설정합니다. 이를 통해 더 큰 배치로 효과적인 훈련이 가능합니다. 이 모델은 MRPC 데이터셋의 패러프레이즈(paraphrase)를 학습하여 번역을 간소화합니다. 그래디언트를 누적하도록 훈련 인수를 구성해 보세요! trainer.train() 호출로 인해 실행에 다소 시간이 걸릴 수 있습니다.

model, dataset, 그리고 compute_metrics() 함수는 미리 정의되어 있습니다.

지침

100 XP
  • 그래디언트 누적 단계 수를 2로 설정하세요.
  • 훈련 인수를 Trainer에 전달하세요.