1. Learn
    2. /
  2. Курси
    3. /
  3. Reinforcement Learning from Human Feedback (RLHF)
Connected

Вправа

Токенізуйте текстовий набір даних

Ви працюєте над маркетинговим дослідженням для туристичного сайту й хочете використати наявний набір даних, щоб донавчити модель для класифікації відгуків про готелі. Ви вирішили скористатися бібліотекою datasets.

Клас AutoTokenizer попередньо імпортовано з transformers, а load_dataset() — з datasets.

Інструкції

100 XP
  • Додайте заповнення (padding) до токенайзера, щоб обробляти текст рівними пакетами.
  • Токенізуйте текстові дані за допомогою попередньо натренованого токенайзера GPT і визначеної функції.