Підготуйте модель до розподіленого навчання
Ви вирішили використати бібліотеку Hugging Face Accelerator для тренування моделі перекладу тексту. Пора підготувати модель до розподіленого навчання!
Деякі дані вже завантажено:
accelerator— це екземплярAcceleratormodel,optimizer,train_dataloaderіlr_schedulerуже визначені
Ця вправа є частиною курсу
Ефективне тренування моделей ШІ з PyTorch
Інструкції до вправи
- Викличте метод, щоб підготувати об’єкти до розподіленого навчання.
- Передайте тренувальні об’єкти як позиційні аргументи до
accelerator.prepare(), зберігаючи порядок, у якому повертаються результати.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Prepare objects for distributed training
model, optimizer, train_dataloader, lr_scheduler = ____.____(
# Pass in the training objects matching the order of the output
____,
____,
____,
____)