Lưu các dataset đã tiền xử lý
Trong dự án chatbot chăm sóc khách hàng, bạn đã chuẩn bị xong một dataset để fine-tune mô hình Llama. Bước tiếp theo là lưu dataset để sau này có thể nạp lại mà không phải lặp lại các bước tiền xử lý. Cách làm này giúp nhóm của bạn tái sử dụng dataset cho nhiều thí nghiệm và vòng lặp khác nhau.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Lưu dataset đã tiền xử lý
dsxuống đĩa. - Tải dataset đã lưu vào biến mới
ds_preprocessed. - In phần tử đầu tiên của
ds_preprocessed.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from datasets import load_from_disk
# Save the dataset to disk
____
# Load the dataset from disk
ds_preprocessed = ____
# Print the first element of the loaded dataset
print(____)