Розуміння метрик генерації тексту

У PyBooks команда щойно оцінила ефективність заздалегідь натренованої моделі за метрикою BLEU і отримала результат близько 0,082, а rouge1_fmeasure — приблизно 0,2692. Ця метрика відображає точність (яка частка вибраних елементів є релевантною) і повноту (яка частка релевантних елементів вибрана). Як ви інтерпретували б це значення з огляду на продуктивність моделі?

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Почніть курс безкоштовно

У цьому розділі ви познайомитеся з глибоким навчанням для тексту та його застосуваннями. Навчіться використовувати PyTorch для опрацювання тексту й отримаєте практичний досвід із такими прийомами, як токенізація, стемінг, вилучення стоп-слів тощо. Зрозумійте важливість кодування текстових даних і реалізуйте методи кодування в PyTorch. Наприкінці закріпіть знання, зібравши конвеєр опрацювання тексту, що поєднує ці техніки.

Exercise 1: Вступ до попередньої обробки тексту Exercise 2: Аналіз частоти слів Exercise 3: Попередня обробка тексту Exercise 4: Кодування текстових даних Exercise 5: One-hot кодування назв книжок Exercise 6: Bag-of-words для назв книжок Exercise 7: Застосування TF-IDF до описів книжок Exercise 8: Вступ до створення конвеєра обробки тексту Exercise 9: Конвеєр попередньої обробки «шебспірівської» мови Exercise 10: Кодувальник шекспірівської мови

Дослідіть класифікацію тексту та її роль у Natural Language Processing (NLP). Застосуйте свої навички, щоб реалізувати вбудовування слів і побудувати як згорткові нейронні мережі (CNN), так і рекурентні нейронні мережі (RNN) для класифікації тексту в PyTorch, а також зрозумійте, як оцінювати моделі за відповідними метриками.

Exercise 1: Огляд класифікації тексту Exercise 2: Embedding у PyTorch Exercise 3: Класифікація завдань із класифікації тексту Exercise 4: Convolutional Neural Networks для класифікації тексту Exercise 5: Побудуйте модель CNN для тексту Exercise 6: Навчіть модель CNN для тексту Exercise 7: Тестування моделі CNN для аналізу тональності Exercise 8: Рекурентні нейронні мережі для класифікації тексту Exercise 9: Створення моделі RNN для тексту Exercise 10: Створення моделі LSTM для тексту Exercise 11: Створення моделі GRU для тексту Exercise 12: Метрики оцінювання для класифікації тексту Exercise 13: Оцінювання моделей класифікації RNN Exercise 14: Оцінювання якості моделі Exercise 15: Порівняння моделей

Зануртеся у захопливий світ генерації тексту та її застосувань в NLP. Зрозумійте, як використовувати рекурентні нейронні мережі (RNN), генеративно-змагальні мережі (GAN) і попередньо навчені моделі для задач генерації тексту в PyTorch. Паралельно ви навчитеся оцінювати якість моделей за релевантними метриками.

Exercise 1: Вступ до генерації тексту Exercise 2: Створення моделі RNN для генерування тексту Exercise 3: Генерація тексту за допомогою RNN — тренування та генерація Exercise 4: Генеративні змагальні мережі для генерування тексту Exercise 5: Створення генератора й дискримінатора Exercise 6: Навчання моделі GAN Exercise 7: Попередньо навчені моделі для генерації тексту Exercise 8: Завершення тексту за допомогою попередньо натренованих моделей GPT-2 Exercise 9: Переклад мов із попередньо натренованою моделлю PyTorch Exercise 10: Метрики оцінювання для генерації тексту Exercise 11: Оцінювання попередньо натренованої моделі генерування тексту Exercise 12: Розуміння метрик генерації тексту

Поточна вправа

Зрозумійте концепцію transfer learning і її застосування в класифікації тексту. Дослідіть Transformers, їхню архітектуру та використання для задач класифікації й генерації тексту. Ви також розглянете механізми attention і їхню роль в опрацюванні тексту. Нарешті, з'ясуйте можливі наслідки змагальних атак на моделі класифікації тексту й навчіться захищати свої моделі.

Exercise 1: Transfer learning для класифікації тексту Exercise 2: Трансферне навчання з BERT Exercise 3: Оцінювання моделі BERT Exercise 4: Transformers для опрацювання тексту Exercise 5: Створення моделі трансформера Exercise 6: Навчання та тестування моделі Transformer Exercise 7: Механізми уваги для обробки тексту Exercise 8: Створення моделі RNN з механізмом уваги Exercise 9: Навчання й тестування моделі RNN з увагою Exercise 10: Атаки зловмисників на моделі класифікації тексту Exercise 11: Класифікація ворожих атак Exercise 12: Як убезпечити ШІ в PyBooks Exercise 13: Підсумки