1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Deep Learning for Text with PyTorch
Connected

cvičení

Transfer learning s využitím BERT

V PyBooks se společnost rozhodla využít sílu modelu BERT – předtrénovaného transformerového modelu – pro analýzu sentimentu. BERT dosahuje skvělých výsledků v různých NLP úlohách, a proto je ideálním kandidátem pro tento případ použití.

Tvým úkolem je nastavit základní workflow s modelem BERT z knihovny transformers pro binární klasifikaci sentimentu.

Následující moduly už jsou naimportované: BertTokenizer, BertForSequenceClassification, torch. Ukázková data texts a odpovídající labels jsou také předpřipravená.

Pokyny

100 XP
  • Načti tokenizér a model bert-base-uncased vhodný pro binární klasifikaci.
  • Tokenizuj svůj dataset a připrav ho pro model – nastav argument return_tensors tak, aby vracel PyTorchové tenzory.
  • Nastav optimalizátor s využitím parametrů modelu.