Завершення тексту за допомогою попередньо натренованих моделей GPT-2

Повернімося до PyBooks: ваш поточний проєкт полягає у створенні захопливих оповідей на основі наявних історій, щоб зацікавити клієнтів і поліпшити їхній досвід. Для цього вам потрібен потужний інструмент генерування тексту, який зможе плавно створювати переконливі продовження. Ви використаєте попередньо натреновану модель, щоб виконати це завдання.

Для вас уже завантажено: torch і GPT2Tokenizer,GPT2LMHeadModel з transformers.

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

Переглянути курс

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Initialize the tokenizer
tokenizer = ____

# Initialize the pre-trained model
model = ____

Редагувати та запускати код

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви познайомитеся з глибоким навчанням для тексту та його застосуваннями. Навчіться використовувати PyTorch для опрацювання тексту й отримаєте практичний досвід із такими прийомами, як токенізація, стемінг, вилучення стоп-слів тощо. Зрозумійте важливість кодування текстових даних і реалізуйте методи кодування в PyTorch. Наприкінці закріпіть знання, зібравши конвеєр опрацювання тексту, що поєднує ці техніки.

Exercise 1: Вступ до попередньої обробки тексту Exercise 2: Аналіз частоти слів Exercise 3: Попередня обробка тексту Exercise 4: Кодування текстових даних Exercise 5: One-hot кодування назв книжок Exercise 6: Bag-of-words для назв книжок Exercise 7: Застосування TF-IDF до описів книжок Exercise 8: Вступ до створення конвеєра обробки тексту Exercise 9: Конвеєр попередньої обробки «шебспірівської» мови Exercise 10: Кодувальник шекспірівської мови

Дослідіть класифікацію тексту та її роль у Natural Language Processing (NLP). Застосуйте свої навички, щоб реалізувати вбудовування слів і побудувати як згорткові нейронні мережі (CNN), так і рекурентні нейронні мережі (RNN) для класифікації тексту в PyTorch, а також зрозумійте, як оцінювати моделі за відповідними метриками.

Exercise 1: Огляд класифікації тексту Exercise 2: Embedding у PyTorch Exercise 3: Класифікація завдань із класифікації тексту Exercise 4: Convolutional Neural Networks для класифікації тексту Exercise 5: Побудуйте модель CNN для тексту Exercise 6: Навчіть модель CNN для тексту Exercise 7: Тестування моделі CNN для аналізу тональності Exercise 8: Рекурентні нейронні мережі для класифікації тексту Exercise 9: Створення моделі RNN для тексту Exercise 10: Створення моделі LSTM для тексту Exercise 11: Створення моделі GRU для тексту Exercise 12: Метрики оцінювання для класифікації тексту Exercise 13: Оцінювання моделей класифікації RNN Exercise 14: Оцінювання якості моделі Exercise 15: Порівняння моделей

Зануртеся у захопливий світ генерації тексту та її застосувань в NLP. Зрозумійте, як використовувати рекурентні нейронні мережі (RNN), генеративно-змагальні мережі (GAN) і попередньо навчені моделі для задач генерації тексту в PyTorch. Паралельно ви навчитеся оцінювати якість моделей за релевантними метриками.

Exercise 1: Вступ до генерації тексту Exercise 2: Створення моделі RNN для генерування тексту Exercise 3: Генерація тексту за допомогою RNN — тренування та генерація Exercise 4: Генеративні змагальні мережі для генерування тексту Exercise 5: Створення генератора й дискримінатора Exercise 6: Навчання моделі GAN Exercise 7: Попередньо навчені моделі для генерації тексту Exercise 8: Завершення тексту за допомогою попередньо натренованих моделей GPT-2

Поточна вправа

Exercise 9: Переклад мов із попередньо натренованою моделлю PyTorch Exercise 10: Метрики оцінювання для генерації тексту Exercise 11: Оцінювання попередньо натренованої моделі генерування тексту Exercise 12: Розуміння метрик генерації тексту

Зрозумійте концепцію transfer learning і її застосування в класифікації тексту. Дослідіть Transformers, їхню архітектуру та використання для задач класифікації й генерації тексту. Ви також розглянете механізми attention і їхню роль в опрацюванні тексту. Нарешті, з'ясуйте можливі наслідки змагальних атак на моделі класифікації тексту й навчіться захищати свої моделі.

Exercise 1: Transfer learning для класифікації тексту Exercise 2: Трансферне навчання з BERT Exercise 3: Оцінювання моделі BERT Exercise 4: Transformers для опрацювання тексту Exercise 5: Створення моделі трансформера Exercise 6: Навчання та тестування моделі Transformer Exercise 7: Механізми уваги для обробки тексту Exercise 8: Створення моделі RNN з механізмом уваги Exercise 9: Навчання й тестування моделі RNN з увагою Exercise 10: Атаки зловмисників на моделі класифікації тексту Exercise 11: Класифікація ворожих атак Exercise 12: Як убезпечити ШІ в PyBooks Exercise 13: Підсумки