Tworzenie modelu transformera

W PyBooks silnik rekomendacji, nad którym pracujesz, potrzebuje bardziej zaawansowanych możliwości analizy sentymentu recenzji użytkowników. Uważasz, że zastosowanie transformerów – nowoczesnej architektury sieci neuronowych – pomoże osiągnąć ten cel. Postanawiasz zbudować model transformera, który zakoduje sentyment zawarty w recenzjach i tym samym zapoczątkuje projekt.

Następujące pakiety zostały już zaimportowane: torch, nn, optim.

Dane wejściowe zawierają zdania takie jak: "I love this product", "This is terrible", "Could be better" … oraz odpowiadające im binarne etykiety sentymentu, np.: 1, 0, 0, ...

Dane wejściowe zostały podzielone i przekonwertowane na osadzenia (embeddings) w następujących zmiennych: train_sentences, train_labels, test_sentences, test_labels, token_embeddings

Zainicjalizuj enkoder transformera.
Zdefiniuj warstwę w pełni połączoną na podstawie liczby klas sentymentu.
W metodzie forward przepuść dane wejściowe przez enkoder transformera, a następnie przez warstwę liniową.

道练习

Tworzenie modelu transformera

说明

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}道练习

说明

道练习