Transformerアーキテクチャは、positional encoding、attention機構など、Deep Learningの多くの進歩を統合し、系列モデリングに革命をもたらしました。
Transformerアーキテクチャにおいて、系列内の各トークンの「位置」に関する情報を捉える役割を担うコンポーネントはどれですか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
AIで最も注目されている深層学習アーキテクチャの肝を解き明かします。著名な論文「Attention is All You Need」で解説された自己注意機構をはじめ、Transformerモデルを形作るコンポーネントについて学びましょう。
現在の演習
Transformerのエンコーダブロックとデコーダブロックを設計し、位置エンコーディング、マルチヘッドアテンション、位置ごとのフィードフォワードネットワークと組み合わせて、独自のTransformerアーキテクチャを構築します。その過程で、Transformerが内部でどのように動作するのかを深く理解できるようになります。
