Bắt đầu ngayBắt đầu miễn phí

Tích lũy gradient với Trainer

Bạn đang thiết lập Trainer cho mô hình dịch ngôn ngữ để dùng tích lũy gradient, giúp bạn huấn luyện hiệu quả với batch lớn hơn. Mô hình của bạn sẽ đơn giản hóa bản dịch bằng cách huấn luyện trên các câu diễn đạt lại (paraphrase) từ bộ dữ liệu MRPC. Hãy cấu hình tham số huấn luyện để tích lũy gradient! Bài tập sẽ mất một chút thời gian khi gọi trainer.train().

model, dataset, và hàm compute_metrics() đã được định nghĩa sẵn.

Bài tập này là một phần của khóa học

Huấn luyện Mô hình AI Hiệu quả với PyTorch

Xem khóa học

Hướng dẫn bài tập

  • Đặt số bước tích lũy gradient là 2.
  • Truyền các tham số huấn luyện vào Trainer.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

training_args = TrainingArguments(
    output_dir="./results",
    evaluation_strategy="epoch",
    # Set the number of gradient accumulation steps to two
    ____=____
)
trainer = Trainer(
    model=model,
    # Pass in the training arguments to Trainer
    ____=____,
    train_dataset=dataset["train"],
    eval_dataset=dataset["validation"],
    compute_metrics=compute_metrics,
)
trainer.train()
Chỉnh sửa và Chạy Mã