Especifique o TrainingArguments

Você está configurando o processo de treinamento do modelo de idioma. TrainingArguments especifica os parâmetros de entrada para Trainer. Este exercício fornece valores para esses parâmetros; geralmente, você terá de ajustar os parâmetros de um modelo. Prepare os argumentos para que seu modelo use Trainer!

Alguns dados foram pré-carregados:

output_dir é um diretório predefinido
A classe TrainingArguments foi importada

Este exercício faz parte do curso

Treinamento eficiente de modelos de IA com PyTorch

Ver curso

Instruções do exercício

Defina training_args usando a classe TrainingArguments.
Defina learning_rate como 2e-5 para fazer o ajuste fino dos pesos pré-treinados do modelo.
Defina o tamanho do lote de treinamento por dispositivo em cada dispositivo para 16.
Defina os pontos de verificação da avaliação para cada "epoch".

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Define training_args using a transformers class
training_args = ____(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    ____=____,
    # Set train batch size on each device to 16
    ____=16,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    ____="____",
)

Editar e executar o código