НачатьНачать бесплатно

Указание параметров TrainingArguments

Вы настраиваете процесс обучения языковой модели. Класс TrainingArguments задаёт входные параметры для Trainer. В этом упражнении значения параметров уже определены — как правило, их нужно подбирать под конкретную модель. Подготовьте аргументы, чтобы использовать Trainer!

Некоторые данные уже загружены:

  • output_dir — заранее определённая директория
  • Класс TrainingArguments уже импортирован

Это упражнение является частью курса

Эффективное обучение моделей ИИ с PyTorch

Посмотреть курс

Инструкции к упражнению

  • Определите training_args с помощью класса TrainingArguments.
  • Установите learning_rate равным 2e-5, чтобы дообучить предобученные веса модели.
  • Задайте размер обучающего батча на каждом устройстве равным 16.
  • Установите evaluation_strategy так, чтобы контрольные точки оценки создавались каждую эпоху.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)
Редактировать и запускать код