Accelerator로 학습 루프 구성하기
이제 언어 번역 서비스를 위한 학습 루프를 구현할 준비가 되었습니다. Accelerator가 분산 학습을 위해 PyTorch 루프를 어떻게 수정하는지 살펴봤으니, 학습 루프에서 Accelerator 클래스를 활용해 보세요!
다음 데이터가 미리 로드되어 있습니다:
accelerator는Accelerator의 인스턴스입니다.train_dataloader,optimizer,model,lr_scheduler가 정의되고Accelerator로 준비되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
optimizer를 호출하여 그래디언트를 초기화하세요.- 모델의 파라미터를 업데이트하세요.
optimizer의 학습률을 업데이트하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
for batch in train_dataloader:
# Call the optimizer to zero the gradients
____.____()
inputs, targets = batch["input_ids"], batch["labels"]
outputs = model(inputs, labels=targets)
loss = outputs.loss
accelerator.backward(loss)
# Update the model's parameters
____.____()
# Update the learning rate of the optimizer
____.____()