Thiết lập tham số huấn luyện cho Llama
Bạn được giao làm việc với mô hình Llama dùng trong chatbot chăm sóc khách hàng bằng cách fine-tune trên dữ liệu chăm sóc khách hàng được thiết kế cho tác vụ hỏi–đáp. Để đạt hiệu năng tốt nhất, nhóm của bạn sẽ fine-tune một mô hình Llama cho tác vụ này bằng bộ dữ liệu bitext.
Bạn muốn chạy thử vòng lặp huấn luyện để kiểm tra xem script huấn luyện có hoạt động không. Vì vậy, hãy bắt đầu bằng cách đặt tốc độ học nhỏ và giới hạn số bước huấn luyện trong các tham số huấn luyện của bạn.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Import và khởi tạo lớp trợ giúp để lưu trữ các tham số huấn luyện.
- Đặt tham số huấn luyện cho tốc độ học thành
2e-3.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load helper class for the training arguments from the correct library
from ____ import ____
training_arguments = ____(
# Set learning rate
____=____,
warmup_ratio=0.03,
num_train_epochs=3,
output_dir='/tmp',
per_device_train_batch_size=1,
gradient_accumulation_steps=1,
save_steps=10,
logging_steps=2,
lr_scheduler_type='constant',
report_to='none'
)