Lọc tập dữ liệu để đánh giá
Bạn đang xây dựng một pipeline huấn luyện và đánh giá cho chatbot chăm sóc sức khỏe của công ty, được các bệnh viện dùng để tiếp nhận bệnh nhân mới.
Nhiệm vụ của bạn là tạo một pipeline để tải MedQuad-MedicalQnADataset nhằm đánh giá một LLM về khả năng trả lời câu hỏi y khoa. Bạn được yêu cầu tải tập dữ liệu vào biến ds, và chỉ bao gồm 500 mẫu đầu tiên của phần train của tập dữ liệu được lưu trong dataset_name làm tập đánh giá.
Bài tập này là một phần của khóa học
Fine-Tuning với Llama 3
Hướng dẫn bài tập
- Import các hàm và lớp cần thiết từ
datasets. - Tải tập dữ liệu vào biến
ds. - Xử lý
dsđể chỉ bao gồm 500 mẫu đầu tiên của phầntraincủa tập dữ liệu được lưu trongdataset_namelàm tập đánh giá.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load neccesary imports from library
from datasets import ____, ____
# Load the training split of the dataset
ds = load_dataset(dataset_name, split=____)
# Filter for the first 500 samples of the dataset
filtered_ds = ____