Datensätze für die Evaluation filtern
Du baust eine Trainings- und Evaluations-Pipeline für den Gesundheits-Chatbot deines Unternehmens, der in Krankenhäusern zur Aufnahme neuer Patientinnen und Patienten eingesetzt wird.
Deine Aufgabe ist es, eine Pipeline zu erstellen, die MedQuad-MedicalQnADataset lädt, um ein LLM hinsichtlich seiner Fähigkeit zu evaluieren, medizinische Fragen zu beantworten. Du sollst den Datensatz in die Variable ds laden und nur die ersten 500 Beispiele des train-Splits des in dataset_name gespeicherten Datensatzes als dein Evaluations-Set aufnehmen.
Diese Übung ist Teil des Kurses
<Kurs>Feinabstimmung mit Llama 3</Kurs>Übungsanweisungen
- Importiere die benötigten Funktionen und Klassen aus
datasets. - Lade den Datensatz in die Variable
ds. - Bearbeite
ds, sodass die ersten 500 Beispiele destrain-Splits des indataset_namegespeicherten Datensatzes als dein Evaluations-Set enthalten sind.
Interaktive praktische Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Load neccesary imports from library
from datasets import ____, ____
# Load the training split of the dataset
ds = load_dataset(dataset_name, split=____)
# Filter for the first 500 samples of the dataset
filtered_ds = ____