Accelerator를 활용한 혼합 정밀도 훈련
Accelerator를 사용해 언어 번역 모델의 혼합 정밀도 훈련을 위한 PyTorch 루프를 간결하게 구성해 보세요. Accelerator를 활용한 새로운 훈련 루프를 작성해 봅시다!
dataset, model, dataloader, optimizer 객체는 미리 로드되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
Accelerator에서 FP16을 사용해 혼합 정밀도 훈련을 활성화하세요.- 루프 시작 전에 혼합 정밀도 훈련을 위한 훈련 객체를 준비하세요.
- 혼합 정밀도 훈련을 위해 손실의 그래디언트를 계산하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Enable mixed precision training using FP16
accelerator = Accelerator(____="____")
# Prepare training objects for mixed precision training
model, optimizer, train_dataloader, lr_scheduler = ____.____(____, ____, ____, ____)
for batch in train_dataloader:
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
# Compute the gradients of the loss
____.____(loss)
optimizer.step()
optimizer.zero_grad()