1. Nauka
    2. /
  2. Kursy
    3. /
  3. Uczenie głębokie dla tekstu z PyTorch
Connected

ćwiczenie

Transfer learning z wykorzystaniem BERT

W PyBooks firma postanowiła wykorzystać model BERT – wstępnie wytrenowany model transformerowy – do analizy wydźwięku (sentymentu). BERT osiąga znakomite wyniki w różnych zadaniach z zakresu NLP, co czyni go idealnym kandydatem do tego zastosowania.

Twoim zadaniem jest przygotowanie podstawowego przepływu pracy z użyciem modelu BERT z biblioteki transformers do binarnej klasyfikacji sentymentu.

Następujące elementy zostały już zaimportowane: BertTokenizer, BertForSequenceClassification, torch. Przykładowe dane texts oraz odpowiadające im labels są również wstępnie załadowane.

Instrukcje

100 XP
  • Wczytaj tokenizer i model bert-base-uncased odpowiedni do klasyfikacji binarnej.
  • Stokenizuj zbiór danych i przygotuj go dla modelu – upewnij się, że zwracane są tensory PyTorch, ustawiając argument return_tensors.
  • Skonfiguruj optymalizator, przekazując mu parametry modelu.