Traducere automată cu un model PyTorch pre-antrenat

Echipa ta de la PyBooks lucrează la un proiect de IA care implică traducerea dintr-o limbă în alta. Aceștia doresc să folosească modele pre-antrenate pentru această sarcină, ceea ce poate economisi mult timp și resurse de antrenament. Scopul acestui exercițiu este să configurezi un model de traducere din biblioteca Transformers de la HuggingFace — mai exact modelul T5 (Text-To-Text Transfer Transformer) — și să îl folosești pentru a traduce o frază din engleză în franceză.

T5Tokenizer și T5ForConditionalGeneration au fost deja importate pentru tine.

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

Instrucțiuni pentru exercițiu

Inițializează tokenizer și model folosind modelul pre-antrenat "t5-small".
Codifică textul de intrare cu ajutorul tokenizer-ului, asigurându-te că returnezi tensori PyTorch.
Traduce textul de intrare folosind model și generează rezultatul tradus.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Initalize tokenizer and model
tokenizer = ____.from_pretrained("t5-small")
model = ____.from_pretrained("t5-small")

input_prompt = "translate English to French: 'Hello, how are you?'"

# Encode the input prompt using the tokenizer
input_ids = ____.____(input_prompt, return_tensors="____")

# Generate the translated ouput
output = model.____(input_ids, max_length=50)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print("Generated text:",generated_text)

Editează și rulează codul

Acest exercițiu face parte din cursul

Deep Learning pentru text cu PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Începe cursul gratuit

Acest capitol te introduce în învățarea profundă aplicată textului și în domeniile sale de utilizare. Vei învăța să folosești PyTorch pentru procesarea textului și vei exersa tehnici precum tokenizarea, stemming-ul, eliminarea cuvintelor de stop și altele. Vei înțelege importanța codificării datelor text și vei implementa tehnici de codificare cu PyTorch. La final, îți vei consolida cunoștințele construind un pipeline de procesare a textului care combină aceste tehnici.

Exercise 1: Introducere în preprocesarea textului Exercise 2: Analiza frecvenței cuvintelor Exercise 3: Preprocesarea textului Exercise 4: Codificarea datelor text Exercise 5: Titluri de cărți codificate one-hot Exercise 6: Bag-of-words pentru titluri de cărți Exercise 7: Aplicarea TF-IDF pe descrierile de cărți Exercise 8: Introducere în construirea unui pipeline de procesare a textului Exercise 9: Pipeline de preprocesare a limbajului shakespearian Exercise 10: Encoder pentru limbajul shakespearian

Explorează clasificarea textului și rolul acesteia în Procesarea Limbajului Natural (NLP). Îți vei pune în practică cunoștințele implementând word embeddings și dezvoltând atât Rețele Neuronale Convoluționale (CNN), cât și Rețele Neuronale Recurente (RNN) pentru clasificarea textului cu PyTorch. Vei înțelege, de asemenea, cum să evaluezi modelele folosind metrici adecvate.

Exercise 1: Prezentare generală a clasificării textului Exercise 2: Încorporare (Embedding) în PyTorch Exercise 3: Categorizarea sarcinilor de clasificare a textului Exercise 4: Rețele neuronale convoluționale pentru clasificarea textului Exercise 5: Construiește un model CNN pentru text Exercise 6: Antrenează un model CNN pentru text Exercise 7: Testarea modelului CNN de analiză a sentimentelor Exercise 8: Rețele neuronale recurente pentru clasificarea textului Exercise 9: Construirea unui model RNN pentru text Exercise 10: Construirea unui model LSTM pentru text Exercise 11: Construirea unui model GRU pentru text Exercise 12: Metrici de evaluare pentru clasificarea textului Exercise 13: Evaluarea modelelor de clasificare RNN Exercise 14: Evaluarea performanței modelului Exercise 15: Compararea modelelor

Aventurează-te în fascinanta lume a generării de text și a aplicațiilor sale în NLP. Vei înțelege cum să valorifici Rețelele Neuronale Recurente (RNN), Rețelele Adversariale Generative (GAN) și modelele pre-antrenate pentru sarcini de generare a textului cu PyTorch. În plus, vei învăța să evaluezi performanța modelelor folosind metrici relevante.

Exercise 1: Introducere în generarea de text Exercise 2: Crearea unui model RNN pentru generarea de text Exercise 3: Generarea de text cu RNN – Antrenare și generare Exercise 4: Rețele generative adversariale pentru generarea de text Exercise 5: Construirea unui generator și a unui discriminator Exercise 6: Antrenarea unui model GAN Exercise 7: Modele pre-antrenate pentru generarea de text Exercise 8: Completarea textului cu modele GPT-2 pre-antrenate Exercise 9: Traducere automată cu un model PyTorch pre-antrenat

Exercițiul curent

Exercise 10: Metrici de evaluare pentru generarea de text Exercise 11: Evaluarea unui model preantrenat de generare a textului Exercise 12: Înțelegerea metricilor pentru generarea de text

Înțelege conceptul de transfer learning și aplicarea sa în clasificarea textului. Explorează Transformerele, arhitectura lor și modul în care pot fi folosite pentru clasificarea și generarea textului. Vei aprofunda, de asemenea, mecanismele de atenție și rolul lor în procesarea textului. La final, vei înțelege impactul potențial al atacurilor adversariale asupra modelelor de clasificare a textului și vei învăța cum să îți protejezi modelele.

Exercise 1: Transfer learning pentru clasificarea textului Exercise 2: Transfer learning cu BERT Exercise 3: Evaluarea modelului BERT Exercise 4: Transformere pentru procesarea textului Exercise 5: Crearea unui model transformer Exercise 6: Antrenarea și testarea modelului Transformer Exercise 7: Mecanisme de atenție pentru procesarea textului Exercise 8: Crearea unui model RNN cu atenție Exercise 9: Antrenarea și testarea modelului RNN cu atenție Exercise 10: Atacuri adversariale asupra modelelor de clasificare a textului Exercise 11: Clasificarea atacurilor adversariale Exercise 12: Protejarea inteligenței artificiale la PyBooks Exercise 13: Rezumat