Textkomplettering med förtränade GPT-2-modeller

Tillbaka på PyBooks handlar ditt nuvarande projekt om att skapa engagerande berättelser baserade på befintliga historier – för att fånga kundernas intresse och förbättra deras upplevelse. Du behöver ett kraftfullt textgenereringsverktyg som smidigt kan generera övertygande textfortsättningar. Du kommer att använda en förtränad modell för att lösa uppgiften.

Följande har laddats in åt dig: torch samt GPT2Tokenizer och GPT2LMHeadModel från transformers.

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Initialize the tokenizer
tokenizer = ____

# Initialize the pre-trained model
model = ____

Redigera och kör kod

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Det här kapitlet introducerar dig till djupinlärning för text och dess tillämpningar. Du lär dig använda PyTorch för textbearbetning och får praktisk erfarenhet av tekniker som tokenisering, stemming, borttagning av stoppord och mer. Du förstår varför kodning av textdata är viktigt och implementerar kodningstekniker med PyTorch. Avslutningsvis befäster du dina kunskaper genom att bygga en textbearbetningspipeline som kombinerar dessa tekniker.

Exercise 1: Introduktion till förbehandling av text Exercise 2: Ordfrekvensanalys Exercise 3: Förbehandling av text Exercise 4: Kodning av textdata Exercise 5: One-hot-kodade boktitlar Exercise 6: Bag-of-words för boktitlar Exercise 7: Tillämpa TF-IDF på bokbeskrivningar Exercise 8: Introduktion till att bygga en pipeline för textbehandling Exercise 9: Förbehandlingspipeline för shakespearianskt språk Exercise 10: Shakespeansk språkenkodare

Utforska textklassificering och dess roll inom naturlig språkbehandling (NLP). Använd dina kunskaper för att implementera ordinbäddningar och utveckla både CNN:er (Convolutional Neural Networks) och RNN:er (Recurrent Neural Networks) för textklassificering med PyTorch, och lär dig utvärdera dina modeller med lämpliga mätvärden.

Exercise 1: Översikt över textklassificering Exercise 2: Inbäddning i PyTorch Exercise 3: Kategorisera textklassificeringsuppgifter Exercise 4: Konvolutionella neurala nätverk för textklassificering Exercise 5: Bygg en CNN-modell för text Exercise 6: Träna en CNN-modell för text Exercise 7: Testa CNN-modellen för sentimentanalys Exercise 8: Återkommande neurala nätverk för textklassificering Exercise 9: Bygg en RNN-modell för text Exercise 10: Bygga en LSTM-modell för text Exercise 11: Bygga en GRU-modell för text Exercise 12: Utvärderingsmått för textklassificering Exercise 13: Utvärdering av RNN-klassificeringsmodeller Exercise 14: Utvärdera modellens prestanda Exercise 15: Jämföra modeller

Ge dig in i textgenerering och dess tillämpningar inom NLP. Lär dig utnyttja RNN:er (Recurrent Neural Networks), GAN:er (Generative Adversarial Networks) och förtränade modeller för textgenereringsuppgifter med PyTorch. Du lär dig även att utvärdera dina modellers prestanda med relevanta mätvärden.

Exercise 1: Introduktion till textgenerering Exercise 2: Skapa en RNN-modell för textgenerering Exercise 3: Textgenerering med RNN – träning och generering Exercise 4: Generativa motstridiga nätverk för textgenerering Exercise 5: Bygga en generator och diskriminator Exercise 6: Träna en GAN-modell Exercise 7: Förtränade modeller för textgenerering Exercise 8: Textkomplettering med förtränade GPT-2-modeller

Aktuell övning

Exercise 9: Språköversättning med en förtränad PyTorch-modell Exercise 10: Utvärderingsmått för textgenerering Exercise 11: Utvärdera en förtränad textgenereringsmodell Exercise 12: Förstå utvärderingsmått för textgenerering

Förstå konceptet transferinlärning och hur det tillämpas vid textklassificering. Utforska transformers, deras arkitektur och hur du använder dem för textklassificering och textgenerering. Du går också igenom uppmärksamhetsmekanismer och deras roll i textbearbetning. Slutligen lär du dig om de potentiella konsekvenserna av adversariella attacker på textklassificeringsmodeller och hur du skyddar dina modeller.

Exercise 1: Transferinlärning för textklassificering Exercise 2: Transferinlärning med BERT Exercise 3: Utvärdera BERT-modellen Exercise 4: Transformers för textbearbetning Exercise 5: Skapa en transformermodell Exercise 6: Träna och testa Transformer-modellen Exercise 7: Uppmärksamhetsmekanismer för textbearbetning Exercise 8: Skapa en RNN-modell med attention Exercise 9: Träna och testa RNN-modellen med uppmärksamhetsmekanism Exercise 10: Adversariella attacker mot textklassificeringsmodeller Exercise 11: Klassificering av adversariella attacker Exercise 12: Skydda AI på PyBooks Exercise 13: Avslutning