1. 学ぶ
    2. /
  2. コース
    3. /
  3. PyTorch で学ぶテキストの Deep Learning
Connected

演習

トランスフォーマーモデルの作成

PyBooks で取り組んでいるレコメンデーションエンジンは、ユーザーレビューの感情をより精緻に理解する必要があります。最先端のアーキテクチャであるトランスフォーマーを使えば、それが実現できると考えています。まずはレビューの感情をエンコードできるトランスフォーマーモデルを構築して、プロジェクトを始めましょう。

次のパッケージはすでにインポートされています：torch、nn、optim。

入力データには「I love this product」「This is terrible」「Could be better」などの文が含まれ、 それぞれに 1, 0, 0, ... のような二値の感情ラベルが対応します。

入力データは分割され、次の変数に埋め込みへ変換されています： train_sentences、train_labels、test_sentences、test_labels、token_embeddings

指示

100 XP
  • トランスフォーマーエンコーダーを初期化します。
  • 感情クラス数に基づいて全結合層を定義します。
  • forward メソッドで、入力をトランスフォーマーエンコーダーに通し、その後に線形層へ渡します。