1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Deep Learning for Text with PyTorch
Connected

cvičení

Vytvoření transformer modelu

V PyBooks potřebuje doporučovací systém, na kterém pracuješ, kvalitnější nástroj pro porozumění sentimentu uživatelských recenzí. Věříš, že transformery – moderní architektura na špičkové úrovni – ti s tím pomůžou. Rozhodneš se proto postavit transformer model, který dokáže zakódovat sentiment recenzí a nastartovat celý projekt.

Následující balíčky už jsou naimportovány: torch, nn, optim.

Vstupní data obsahují věty jako: "I love this product", "This is terrible", "Could be better" … a jejich odpovídající binární štítky sentimentu, například: 1, 0, 0, ...

Vstupní data jsou rozdělena a převedena na embeddingy v těchto proměnných: train_sentences, train_labels ,test_sentences,test_labels,token_embeddings

Pokyny

100 XP
  • Inicializuj transformer enkodér.
  • Definuj plně propojenou vrstvu na základě počtu tříd sentimentu.
  • V metodě forward předej vstup přes transformer enkodér a následně přes lineární vrstvu.