1. Learn
    2. /
  2. Courses
    3. /
  3. PyTorch로 AI 모델 효율적으로 학습시키기
Connected

Exercise

Accelerator와 8-bit Adam

모델의 메모리 요구량을 줄이기 위해 8-bit Adam을 사용하여 학습 루프를 커스터마이징하려고 합니다. 8-bit Adam을 적용한 학습 루프를 준비하세요.

8-bit Adam 옵티마이저는 adam_bnb_optim으로 정의되어 있다고 가정합니다. 그 외 학습 객체인 model, train_dataloader, lr_scheduler, accelerator도 이미 정의되어 있습니다.

Instructions

100 XP
  • 분산 학습을 위해 8-bit Adam 옵티마이저를 준비하세요.
  • 옵티마이저를 사용해 모델 파라미터를 업데이트하세요.
  • 옵티마이저를 사용해 그래디언트를 초기화하세요.