Evaluarea unui model preantrenat de generare a textului

Echipa PyBooks a folosit un model GPT-2 preantrenat, cu care ai experimentat deja, pentru a genera un text pe baza unui prompt dat. Acum, doresc să evalueze calitatea textului generat. În acest scop, ți s-a cerut să evaluezi textul generat în raport cu un text de referință.

BLEUScore, ROUGEScore au fost încărcate pentru tine.

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

Instrucțiuni pentru exercițiu

Începe prin inițializarea celor două metrici (BLEU și ROUGE) furnizate din torchmetrics.text.
Folosește aceste metrici inițializate pentru a calcula scorurile dintre textul generat și textul de referință.
Afișează scorurile BLEU și ROUGE calculate.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."

# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()

# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])

# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol te introduce în învățarea profundă aplicată textului și în domeniile sale de utilizare. Vei învăța să folosești PyTorch pentru procesarea textului și vei exersa tehnici precum tokenizarea, stemming-ul, eliminarea cuvintelor de stop și altele. Vei înțelege importanța codificării datelor text și vei implementa tehnici de codificare cu PyTorch. La final, îți vei consolida cunoștințele construind un pipeline de procesare a textului care combină aceste tehnici.

Exercise 1: Introducere în preprocesarea textului Exercise 2: Analiza frecvenței cuvintelor Exercise 3: Preprocesarea textului Exercise 4: Codificarea datelor text Exercise 5: Titluri de cărți codificate one-hot Exercise 6: Bag-of-words pentru titluri de cărți Exercise 7: Aplicarea TF-IDF pe descrierile de cărți Exercise 8: Introducere în construirea unui pipeline de procesare a textului Exercise 9: Pipeline de preprocesare a limbajului shakespearian Exercise 10: Encoder pentru limbajul shakespearian

Explorează clasificarea textului și rolul acesteia în Procesarea Limbajului Natural (NLP). Îți vei pune în practică cunoștințele implementând word embeddings și dezvoltând atât Rețele Neuronale Convoluționale (CNN), cât și Rețele Neuronale Recurente (RNN) pentru clasificarea textului cu PyTorch. Vei înțelege, de asemenea, cum să evaluezi modelele folosind metrici adecvate.

Exercise 1: Prezentare generală a clasificării textului Exercise 2: Încorporare (Embedding) în PyTorch Exercise 3: Categorizarea sarcinilor de clasificare a textului Exercise 4: Rețele neuronale convoluționale pentru clasificarea textului Exercise 5: Construiește un model CNN pentru text Exercise 6: Antrenează un model CNN pentru text Exercise 7: Testarea modelului CNN de analiză a sentimentelor Exercise 8: Rețele neuronale recurente pentru clasificarea textului Exercise 9: Construirea unui model RNN pentru text Exercise 10: Construirea unui model LSTM pentru text Exercise 11: Construirea unui model GRU pentru text Exercise 12: Metrici de evaluare pentru clasificarea textului Exercise 13: Evaluarea modelelor de clasificare RNN Exercise 14: Evaluarea performanței modelului Exercise 15: Compararea modelelor

Aventurează-te în fascinanta lume a generării de text și a aplicațiilor sale în NLP. Vei înțelege cum să valorifici Rețelele Neuronale Recurente (RNN), Rețelele Adversariale Generative (GAN) și modelele pre-antrenate pentru sarcini de generare a textului cu PyTorch. În plus, vei învăța să evaluezi performanța modelelor folosind metrici relevante.

Exercise 1: Introducere în generarea de text Exercise 2: Crearea unui model RNN pentru generarea de text Exercise 3: Generarea de text cu RNN – Antrenare și generare Exercise 4: Rețele generative adversariale pentru generarea de text Exercise 5: Construirea unui generator și a unui discriminator Exercise 6: Antrenarea unui model GAN Exercise 7: Modele pre-antrenate pentru generarea de text Exercise 8: Completarea textului cu modele GPT-2 pre-antrenate Exercise 9: Traducere automată cu un model PyTorch pre-antrenat Exercise 10: Metrici de evaluare pentru generarea de text Exercise 11: Evaluarea unui model preantrenat de generare a textului

Exercițiul curent

Exercise 12: Înțelegerea metricilor pentru generarea de text

Înțelege conceptul de transfer learning și aplicarea sa în clasificarea textului. Explorează Transformerele, arhitectura lor și modul în care pot fi folosite pentru clasificarea și generarea textului. Vei aprofunda, de asemenea, mecanismele de atenție și rolul lor în procesarea textului. La final, vei înțelege impactul potențial al atacurilor adversariale asupra modelelor de clasificare a textului și vei învăța cum să îți protejezi modelele.

Exercise 1: Transfer learning pentru clasificarea textului Exercise 2: Transfer learning cu BERT Exercise 3: Evaluarea modelului BERT Exercise 4: Transformere pentru procesarea textului Exercise 5: Crearea unui model transformer Exercise 6: Antrenarea și testarea modelului Transformer Exercise 7: Mecanisme de atenție pentru procesarea textului Exercise 8: Crearea unui model RNN cu atenție Exercise 9: Antrenarea și testarea modelului RNN cu atenție Exercise 10: Atacuri adversariale asupra modelelor de clasificare a textului Exercise 11: Clasificarea atacurilor adversariale Exercise 12: Protejarea inteligenței artificiale la PyBooks Exercise 13: Rezumat