Alocação automática de dispositivo com Accelerator
Seu modelo de IA conversacional precisa treinar em um conjunto de dados enorme, então você decidiu mover o modelo para uma GPU. Você vai usar o Accelerator para alocação automática de dispositivo. Observe que este exercício realmente é executado na CPU, mas o código é o mesmo para rodar na GPU.
Um modelo baseado em BERT já foi pré-carregado como model.
Este exercício faz parte do curso
Treinamento Eficiente de Modelos de IA com PyTorch
Instruções do exercício
- Declare um objeto
acceleratorinstanciando a classe apropriada. - Use o objeto
acceleratorpara preparar o modelo para treinamento distribuído com GPU.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from accelerate import Accelerator
# Declare an accelerator object
accelerator = ____()
# Prepare the model for distributed training
model = accelerator.____(model)
print(accelerator.device)