1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorch로 AI 모델 효율적으로 학습시키기
Connected

연습 문제

Accelerator를 활용한 그래디언트 체크포인팅

언어 번역 모델을 디바이스에서 학습시킬 수 있도록 메모리 사용량을 계속해서 최적화하고 있습니다. 그래디언트 누적을 통해 더 큰 배치 크기로 효과적인 학습이 가능해졌습니다. 이제 여기에 그래디언트 체크포인팅을 추가하여 모델의 메모리 사용량을 줄여 보세요.

model, train_dataloader, accelerator는 미리 정의되어 있습니다.

지침

100 XP
  • model에 그래디언트 체크포인팅을 활성화하세요.
  • model에 그래디언트 누적을 적용할 수 있도록 Accelerator 컨텍스트 매니저를 설정하세요.