Bắt đầu ngayBắt đầu miễn phí

Chỉ định TrainingArguments

Bạn đang cấu hình quy trình huấn luyện cho mô hình ngôn ngữ của mình. TrainingArguments chỉ định các tham số đầu vào cho Trainer. Bài tập này cung cấp sẵn các giá trị cho các tham số đó; thông thường, bạn sẽ cần tinh chỉnh các tham số cho từng mô hình. Hãy chuẩn bị các đối số để mô hình của bạn sử dụng Trainer!

Một số dữ liệu đã được nạp sẵn:

  • output_dir là một thư mục được định nghĩa trước
  • Lớp TrainingArguments đã được import

Bài tập này là một phần của khóa học

Huấn luyện Mô hình AI Hiệu quả với PyTorch

Xem khóa học

Hướng dẫn bài tập

  • Định nghĩa training_args bằng lớp TrainingArguments.
  • Đặt learning_rate là 2e-5 để fine-tune trọng số đã được pre-trained của mô hình.
  • Đặt kích thước batch huấn luyện trên mỗi thiết bị là 16.
  • Đặt evaluation_strategy để tạo checkpoint đánh giá sau mỗi epoch.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Define training_args using a transformers class
training_args = TrainingArguments(
    output_dir=output_dir,
    # Set the learning rate to 2e-5
    learning_rate=____,
    # Set train batch size on each device to 16
    per_device_train_batch_size=____,
    per_device_eval_batch_size=16,
    num_train_epochs=2,
    weight_decay=0.01,
    save_strategy="epoch",
    # Set evaluation checkpoints every epoch
    evaluation_strategy=____,
)
Chỉnh sửa và Chạy Mã