Thiết lập tham số huấn luyện
Sau khi bạn đã tokenize các tương tác hỗ trợ khách hàng, bạn cần thiết lập các tham số huấn luyện trước khi có thể fine-tune một mô hình đã được pre-trained.
TrainingArguments đã được nạp sẵn cho bạn.
Bài tập này là một phần của khóa học
Nhập môn LLMs trong Python
Hướng dẫn bài tập
- Thiết lập một instance của
TrainingArguments(). - Đặt chiến lược đánh giá là
"epoch". - Chỉ định ba epoch huấn luyện.
- Đặt kích thước batch cho cả huấn luyện và đánh giá là ba.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Set up an instance of TrainingArguments
training_args = ____(
output_dir="./finetuned",
# Set the evaluation strategy
____,
# Specify the number of epochs
____=3,
learning_rate=2e-5,
# Set the batch sizes
____=3,
____=3,
weight_decay=0.01
)