분산 학습을 위한 모델 준비
Hugging Face Accelerator 라이브러리를 사용하여 언어 번역 모델을 학습시키기로 했습니다. 이제 분산 학습을 위해 모델을 준비할 차례입니다!
다음 데이터가 미리 로드되어 있습니다:
accelerator는Accelerator의 인스턴스입니다model,optimizer,train_dataloader,lr_scheduler가 정의되어 있습니다
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
- 분산 학습을 위한 객체를 준비하는 메서드를 호출하세요.
- 출력 순서에 맞게 학습 객체를 위치 인수로
accelerator.prepare()에 전달하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)