1. Nauka
    2. /
  2. Kursy
    3. /
  3. Uczenie głębokie dla tekstu z PyTorch
Connected

ćwiczenie

Trenowanie i testowanie modelu Transformer

Mając gotowy model TransformerEncoder, następnym krokiem w PyBooks jest wytrenowanie go na przykładowych recenzjach i ocena jego działania. Trenowanie na tych recenzjach pomoże PyBooks zrozumieć trendy sentymentu w ich rozległym repozytorium. Dzięki dobrze działającemu modelowi PyBooks będzie mogło zautomatyzować analizę sentymentu – co przełoży się na trafniejsze rekomendacje i opinie dla czytelników.

Następujące pakiety zostały już zaimportowane: torch, nn, optim.

Instancja model klasy TransformerEncoder, obiekt token_embeddings oraz zmienne train_sentences, train_labels, test_sentences, test_labels są wstępnie załadowane.

Instrukcje

100 XP
  • W pętli treningowej podziel zdania na tokeny i ułóż osadzenia w stos.
  • Wyzeruj gradienty i wykonaj przejście wsteczne.
  • W funkcji predict wyłącz obliczanie gradientów, a następnie pobierz predykcję sentymentu.