НачатьНачать бесплатно

Сохранение предобработанных наборов данных

В рамках проекта по созданию чат-бота для службы поддержки вы подготовили набор данных для дообучения модели Llama. Следующий шаг — сохранить его, чтобы можно было загрузить позже без повторной предобработки. Это позволит команде повторно использовать набор данных в разных экспериментах и итерациях.

Это упражнение является частью курса

Файн-тюнинг с Llama 3

Посмотреть курс

Инструкции к упражнению

  • Сохраните предобработанный набор данных ds на диск.
  • Загрузите сохранённый набор данных в новую переменную ds_preprocessed.
  • Выведите первый элемент ds_preprocessed.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

from datasets import load_from_disk

# Save the dataset to disk
____

# Load the dataset from disk
ds_preprocessed = ____

# Print the first element of the loaded dataset
print(____)
Редактировать и запускать код