Completarea textului cu modele GPT-2 pre-antrenate

La PyBooks, proiectul tău actual presupune crearea unor narațiuni captivante bazate pe povești existente, pentru a atrage clienții și a le îmbunătăți experiența. Pentru a reuși, ai nevoie de un instrument puternic de generare a textului, capabil să producă continuări convingătoare. Vei folosi un model pre-antrenat pentru a duce treaba la bun sfârșit.

Următoarele au fost deja importate pentru tine: torch, GPT2Tokenizer și GPT2LMHeadModel din transformers.

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Initialize the tokenizer
tokenizer = ____

# Initialize the pre-trained model
model = ____

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol te introduce în învățarea profundă aplicată textului și în domeniile sale de utilizare. Vei învăța să folosești PyTorch pentru procesarea textului și vei exersa tehnici precum tokenizarea, stemming-ul, eliminarea cuvintelor de stop și altele. Vei înțelege importanța codificării datelor text și vei implementa tehnici de codificare cu PyTorch. La final, îți vei consolida cunoștințele construind un pipeline de procesare a textului care combină aceste tehnici.

Exercise 1: Introducere în preprocesarea textului Exercise 2: Analiza frecvenței cuvintelor Exercise 3: Preprocesarea textului Exercise 4: Codificarea datelor text Exercise 5: Titluri de cărți codificate one-hot Exercise 6: Bag-of-words pentru titluri de cărți Exercise 7: Aplicarea TF-IDF pe descrierile de cărți Exercise 8: Introducere în construirea unui pipeline de procesare a textului Exercise 9: Pipeline de preprocesare a limbajului shakespearian Exercise 10: Encoder pentru limbajul shakespearian

Explorează clasificarea textului și rolul acesteia în Procesarea Limbajului Natural (NLP). Îți vei pune în practică cunoștințele implementând word embeddings și dezvoltând atât Rețele Neuronale Convoluționale (CNN), cât și Rețele Neuronale Recurente (RNN) pentru clasificarea textului cu PyTorch. Vei înțelege, de asemenea, cum să evaluezi modelele folosind metrici adecvate.

Exercise 1: Prezentare generală a clasificării textului Exercise 2: Încorporare (Embedding) în PyTorch Exercise 3: Categorizarea sarcinilor de clasificare a textului Exercise 4: Rețele neuronale convoluționale pentru clasificarea textului Exercise 5: Construiește un model CNN pentru text Exercise 6: Antrenează un model CNN pentru text Exercise 7: Testarea modelului CNN de analiză a sentimentelor Exercise 8: Rețele neuronale recurente pentru clasificarea textului Exercise 9: Construirea unui model RNN pentru text Exercise 10: Construirea unui model LSTM pentru text Exercise 11: Construirea unui model GRU pentru text Exercise 12: Metrici de evaluare pentru clasificarea textului Exercise 13: Evaluarea modelelor de clasificare RNN Exercise 14: Evaluarea performanței modelului Exercise 15: Compararea modelelor

Aventurează-te în fascinanta lume a generării de text și a aplicațiilor sale în NLP. Vei înțelege cum să valorifici Rețelele Neuronale Recurente (RNN), Rețelele Adversariale Generative (GAN) și modelele pre-antrenate pentru sarcini de generare a textului cu PyTorch. În plus, vei învăța să evaluezi performanța modelelor folosind metrici relevante.

Exercise 1: Introducere în generarea de text Exercise 2: Crearea unui model RNN pentru generarea de text Exercise 3: Generarea de text cu RNN – Antrenare și generare Exercise 4: Rețele generative adversariale pentru generarea de text Exercise 5: Construirea unui generator și a unui discriminator Exercise 6: Antrenarea unui model GAN Exercise 7: Modele pre-antrenate pentru generarea de text Exercise 8: Completarea textului cu modele GPT-2 pre-antrenate

Exercițiul curent

Exercise 9: Traducere automată cu un model PyTorch pre-antrenat Exercise 10: Metrici de evaluare pentru generarea de text Exercise 11: Evaluarea unui model preantrenat de generare a textului Exercise 12: Înțelegerea metricilor pentru generarea de text

Înțelege conceptul de transfer learning și aplicarea sa în clasificarea textului. Explorează Transformerele, arhitectura lor și modul în care pot fi folosite pentru clasificarea și generarea textului. Vei aprofunda, de asemenea, mecanismele de atenție și rolul lor în procesarea textului. La final, vei înțelege impactul potențial al atacurilor adversariale asupra modelelor de clasificare a textului și vei învăța cum să îți protejezi modelele.

Exercise 1: Transfer learning pentru clasificarea textului Exercise 2: Transfer learning cu BERT Exercise 3: Evaluarea modelului BERT Exercise 4: Transformere pentru procesarea textului Exercise 5: Crearea unui model transformer Exercise 6: Antrenarea și testarea modelului Transformer Exercise 7: Mecanisme de atenție pentru procesarea textului Exercise 8: Crearea unui model RNN cu atenție Exercise 9: Antrenarea și testarea modelului RNN cu atenție Exercise 10: Atacuri adversariale asupra modelelor de clasificare a textului Exercise 11: Clasificarea atacurilor adversariale Exercise 12: Protejarea inteligenței artificiale la PyBooks Exercise 13: Rezumat