Filtrarea seturilor de date pentru evaluare
Constructiești un pipeline de antrenament și evaluare pentru chatbotul de asistență medicală al companiei tale, folosit de spitale pentru înregistrarea pacienților noi.
Sarcina ta este să creezi un pipeline care să încarce setul de date MedQuad-MedicalQnADataset pentru a evalua un LLM pe capacitatea sa de a răspunde la întrebări medicale. Ești solicitat să încarci setul de date în variabila ds și să incluzi doar primele 500 de eșantioane din split-ul train al setului de date stocat în dataset_name ca set de evaluare.
Acest exercițiu face parte din cursul
Fine-Tuning cu Llama 3
Instrucțiuni pentru exercițiu
- Importă funcțiile și clasele necesare din
datasets. - Încarcă setul de date în variabila
ds. - Modifică
dspentru a include primele 500 de eșantioane din split-ultrainal setului de date stocat îndataset_nameca set de evaluare.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Load neccesary imports from library
from datasets import ____, ____
# Load the training split of the dataset
ds = load_dataset(dataset_name, split=____)
# Filter for the first 500 samples of the dataset
filtered_ds = ____