1. Learn
    2. /
  2. Courses
    3. /
  3. PyTorch で学ぶテキストの Deep Learning
Connected

Exercise

BERT を使った転移学習

PyBooks では、感情分析に事前学習済みの Transformer モデルである BERT を活用することになりました。BERT はさまざまな NLP タスクで顕著な性能を示しており、この用途に最適な候補です。

あなたのタスクは、transformers ライブラリの BERT モデルを使って二値の感情分類を行う基本的なワークフローを構築することです。

すでに BertTokenizer、BertForSequenceClassification、torch がインポートされています。 サンプルデータの texts と、それに対応する labels も読み込まれています。

Instructions

100 XP
  • 二値分類に適した bert-base-uncased のトークナイザとモデルを読み込みます。
  • データセットをトークナイズし、return_tensors 引数を使って PyTorch のテンソルを返すように準備します。
  • モデルのパラメータを使ってオプティマイザを設定します。