Skapa en transformermodell

På PyBooks behöver rekommendationsmotorn du arbetar med mer förfinade funktioner för att förstå känslan i användarrecensioner. Du tror att transformers – en toppmodern arkitektur – kan hjälpa dig att uppnå detta. Därför bestämmer du dig för att bygga en transformermodell som kan koda känslan i recensionerna och på så sätt komma igång med projektet.

Följande paket har importerats åt dig: torch, nn, optim.

Indata innehåller meningar som: "I love this product", "This is terrible", "Could be better" … och deras respektive binära sentimentetiketter, till exempel: 1, 0, 0, ...

Indata är uppdelad och konverterad till inbäddningar (embeddings) i följande variabler: train_sentences, train_labels, test_sentences, test_labels, token_embeddings

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

Övningsinstruktioner

Initiera transformerenkodern.
Definiera det fully connected-lagret baserat på antalet sentimentklasser.
I forward-metoden skickar du indata genom transformerenkodern och sedan vidare genom det linjära lagret.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

class TransformerEncoder(nn.Module):
    def __init__(self, embed_size, heads, num_layers, dropout):
        super(TransformerEncoder, self).__init__()
        # Initialize the encoder 
        self.encoder = nn.____(
            nn.____(d_model=embed_size, nhead=heads),
            num_layers=num_layers)
        # Define the fully connected layer
        self.fc = nn.Linear(embed_size, ____)

    def forward(self, x):
        # Pass the input through the transformer encoder 
        x = self.____(x)
        x = x.mean(dim=1) 
        return self.fc(x)

model = TransformerEncoder(embed_size=512, heads=8, num_layers=3, dropout=0.5)
optimizer = optim.Adam(model.parameters(), lr=1e-3)
criterion = nn.CrossEntropyLoss()

Redigera och kör kod

Den här övningen är en del av kursen

Djupinlärning för text med PyTorch

SkillTag.level.advancedSkillTag.label

4.8+

Starta kursen gratis

Det här kapitlet introducerar dig till djupinlärning för text och dess tillämpningar. Du lär dig använda PyTorch för textbearbetning och får praktisk erfarenhet av tekniker som tokenisering, stemming, borttagning av stoppord och mer. Du förstår varför kodning av textdata är viktigt och implementerar kodningstekniker med PyTorch. Avslutningsvis befäster du dina kunskaper genom att bygga en textbearbetningspipeline som kombinerar dessa tekniker.

Exercise 1: Introduktion till förbehandling av text Exercise 2: Ordfrekvensanalys Exercise 3: Förbehandling av text Exercise 4: Kodning av textdata Exercise 5: One-hot-kodade boktitlar Exercise 6: Bag-of-words för boktitlar Exercise 7: Tillämpa TF-IDF på bokbeskrivningar Exercise 8: Introduktion till att bygga en pipeline för textbehandling Exercise 9: Förbehandlingspipeline för shakespearianskt språk Exercise 10: Shakespeansk språkenkodare

Utforska textklassificering och dess roll inom naturlig språkbehandling (NLP). Använd dina kunskaper för att implementera ordinbäddningar och utveckla både CNN:er (Convolutional Neural Networks) och RNN:er (Recurrent Neural Networks) för textklassificering med PyTorch, och lär dig utvärdera dina modeller med lämpliga mätvärden.

Exercise 1: Översikt över textklassificering Exercise 2: Inbäddning i PyTorch Exercise 3: Kategorisera textklassificeringsuppgifter Exercise 4: Konvolutionella neurala nätverk för textklassificering Exercise 5: Bygg en CNN-modell för text Exercise 6: Träna en CNN-modell för text Exercise 7: Testa CNN-modellen för sentimentanalys Exercise 8: Återkommande neurala nätverk för textklassificering Exercise 9: Bygg en RNN-modell för text Exercise 10: Bygga en LSTM-modell för text Exercise 11: Bygga en GRU-modell för text Exercise 12: Utvärderingsmått för textklassificering Exercise 13: Utvärdering av RNN-klassificeringsmodeller Exercise 14: Utvärdera modellens prestanda Exercise 15: Jämföra modeller

Ge dig in i textgenerering och dess tillämpningar inom NLP. Lär dig utnyttja RNN:er (Recurrent Neural Networks), GAN:er (Generative Adversarial Networks) och förtränade modeller för textgenereringsuppgifter med PyTorch. Du lär dig även att utvärdera dina modellers prestanda med relevanta mätvärden.

Exercise 1: Introduktion till textgenerering Exercise 2: Skapa en RNN-modell för textgenerering Exercise 3: Textgenerering med RNN – träning och generering Exercise 4: Generativa motstridiga nätverk för textgenerering Exercise 5: Bygga en generator och diskriminator Exercise 6: Träna en GAN-modell Exercise 7: Förtränade modeller för textgenerering Exercise 8: Textkomplettering med förtränade GPT-2-modeller Exercise 9: Språköversättning med en förtränad PyTorch-modell Exercise 10: Utvärderingsmått för textgenerering Exercise 11: Utvärdera en förtränad textgenereringsmodell Exercise 12: Förstå utvärderingsmått för textgenerering

Förstå konceptet transferinlärning och hur det tillämpas vid textklassificering. Utforska transformers, deras arkitektur och hur du använder dem för textklassificering och textgenerering. Du går också igenom uppmärksamhetsmekanismer och deras roll i textbearbetning. Slutligen lär du dig om de potentiella konsekvenserna av adversariella attacker på textklassificeringsmodeller och hur du skyddar dina modeller.

Exercise 1: Transferinlärning för textklassificering Exercise 2: Transferinlärning med BERT Exercise 3: Utvärdera BERT-modellen Exercise 4: Transformers för textbearbetning Exercise 5: Skapa en transformermodell

Aktuell övning

Exercise 6: Träna och testa Transformer-modellen Exercise 7: Uppmärksamhetsmekanismer för textbearbetning Exercise 8: Skapa en RNN-modell med attention Exercise 9: Träna och testa RNN-modellen med uppmärksamhetsmekanism Exercise 10: Adversariella attacker mot textklassificeringsmodeller Exercise 11: Klassificering av adversariella attacker Exercise 12: Skydda AI på PyBooks Exercise 13: Avslutning