Especificar os TrainingArguments

Você está configurando o processo de treino do seu modelo de linguagem. TrainingArguments especifica os parâmetros de entrada para o Trainer. Este exercício fornece valores para esses parâmetros; em geral, você vai precisar ajustar os parâmetros para um modelo. Prepare os argumentos para o seu modelo usar com o Trainer!

Alguns dados já foram pré-carregados:

output_dir é um diretório predefinido
A classe TrainingArguments foi importada

Este exercício faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercício

Defina training_args usando a classe TrainingArguments.
Defina o learning_rate como 2e-5 para ajustar os pesos pré-treinados do seu modelo.
Defina o tamanho do lote de treino por dispositivo em cada dispositivo como 16.
Configure os checkpoints de avaliação a cada "epoch".

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Define training_args using a transformers class
training_args = ____(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    ____=____,
    # Set train batch size on each device to 16
    ____=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    ____="____",
)

Editar e executar o código