Especificar os TrainingArguments

Você está configurando o processo de treino do seu modelo de linguagem. TrainingArguments especifica os parâmetros de entrada para o Trainer. Este exercício fornece valores para esses parâmetros; em geral, você terá que ajustar os parâmetros para um modelo. Prepare os argumentos para o seu modelo usar o Trainer!

Alguns dados já foram carregados:

output_dir é um diretório predefinido
A classe TrainingArguments foi importada

Este exercicio faz parte do curso

Treinamento Eficiente de Modelos de IA com PyTorch

Ver curso

Instruções do exercicio

Defina training_args usando a classe TrainingArguments.
Defina o learning_rate como 2e-5 para fazer fine-tuning dos pesos pré-treinados do seu modelo.
Defina o tamanho do batch de treino por dispositivo em cada dispositivo como 16.
Defina evaluation_strategy para criar checkpoints de avaliação a cada epoch.

exercicio interativo prático

Tente este exercicio completando este código de exemplo.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)

Editar e Executar Código