1. 학습
    2. /
  2. 강의
    3. /
  3. PyTorchで学ぶTransformerモデル
Connected

연습 문제

PyTorch の Transformer

すでにトランスフォーマーアーキテクチャの各コンポーネントに慣れてきましたので、いよいよモデルを定義してみましょう！ torch.nn モジュール（ここでは nn としてインポート済み）を使えば、わずか数行で実装できます。

지침

100 XP
  • アテンションヘッドを 8、エンコーダ層とデコーダ層をそれぞれ 6、入力系列の埋め込み長を 1536 にして、Transformer を定義します。
  • モデルオブジェクトを出力して、モデルのアーキテクチャを確認します。