Accelerator를 사용한 자동 장치 배치
대용량 데이터셋으로 대화형 AI 모델을 학습시키기 위해 GPU로 모델을 이동하기로 했습니다. 자동 장치 배치를 위해 Accelerator를 활용합니다. 이 연습 문제는 실제로 CPU에서 실행되지만, GPU에서 실행할 때도 코드는 동일합니다.
BERT 기반 모델이 model로 미리 로드되어 있습니다.
이 연습은 강의의 일부입니다
PyTorch로 AI 모델 효율적으로 학습시키기
연습 안내
- 적절한 클래스를 인스턴스화하여
accelerator객체를 선언하세요. accelerator객체를 사용해 GPU 분산 학습을 위한 모델을 준비하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)