Фильтрация наборов данных для оценки
Вы создаёте конвейер обучения и оценки для чат-бота вашей компании в сфере здравоохранения, которым пользуются больницы для регистрации новых пациентов.
Ваша задача — построить конвейер для загрузки набора данных MedQuad-MedicalQnADataset и оценки способности языковой модели отвечать на медицинские вопросы. Загрузите набор данных в переменную ds и используйте только первые 500 образцов из раздела train набора данных, хранящегося в переменной dataset_name, в качестве оценочной выборки.
Это упражнение является частью курса
Файн-тюнинг с Llama 3
Инструкции к упражнению
- Импортируйте необходимые функции и классы из
datasets. - Загрузите набор данных в переменную
ds. - Преобразуйте
dsтак, чтобы он включал только первые 500 образцов из разделаtrainнабора данных, хранящегося в переменнойdataset_name, в качестве оценочной выборки.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Load neccesary imports from library
from datasets import ____, ____
# Load the training split of the dataset
ds = load_dataset(dataset_name, split=____)
# Filter for the first 500 samples of the dataset
filtered_ds = ____