Фільтрування наборів даних для оцінювання
Ви створюєте конвеєр тренування та оцінювання для корпоративного медичного чатбота, яким лікарні користуються для реєстрації нових пацієнтів.
Ваше завдання — побудувати конвеєр для завантаження MedQuad-MedicalQnADataset, щоб оцінити LLM на вміння відповідати на медичні запитання. Потрібно завантажити набір даних у змінну ds і включити лише перші 500 зразків розділу train набору даних, назву якого збережено в dataset_name, як вашу вибірку для оцінювання.
Ця вправа є частиною курсу
Тонке налаштування з Llama 3
Інструкції до вправи
- Імпортуйте потрібні функції та класи з
datasets. - Завантажте набір даних у змінну
ds. - Обробіть
ds, щоб залишити перші 500 зразків розділуtrainнабору, назву якого збережено вdataset_name, як вашу вибірку для оцінювання.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Load neccesary imports from library
from datasets import ____, ____
# Load the training split of the dataset
ds = load_dataset(dataset_name, split=____)
# Filter for the first 500 samples of the dataset
filtered_ds = ____