AIで最も注目されている深層学習アーキテクチャの肝を解き明かします。著名な論文「Attention is All You Need」で解説された自己注意機構をはじめ、Transformerモデルを形作るコンポーネントについて学びましょう。

PyTorch で学ぶ Transformer

Transformerを分解して理解する

PyTorch の Transformer

埋め込みと位置エンコーディング

入力埋め込みを作成する

位置エンコーディングを作成する

マルチヘッド自己注意機構

マルチヘッド・アテンションの実装

MultiHeadAttentionClass の作成を始める

MultiHeadAttention クラスにメソッドを追加する

Transformerモデルの構成要素

Transformerのエンコーダブロックとデコーダブロックを設計し、位置エンコーディング、マルチヘッドアテンション、位置ごとのフィードフォワードネットワークと組み合わせて、独自のTransformerアーキテクチャを構築します。その過程で、Transformerが内部でどのように動作するのかを深く理解できるようになります。

エンコーダートランスフォーマー

フィードフォワード・サブレイヤー

エンコーダートランスフォマー層

エンコーダ Transformer の本体

Transformerヘッドの追加

デコーダートランスフォーマー

自己注意のためのマスクを設計する

デコーダーレイヤー

デコーダー Transformer を完成させる

エンコーダ—デコーダ型トランスフォーマー

デコーダ層にクロスアテンションを追加する

エンコーダ・デコーダTransformerの構築

おめでとうございます！

Transformerアーキテクチャの構築

LLMをさらに深く学び、トランスフォーマーアーキテクチャがどのように深層学習を革新し、生成AIのブームを支えてきたかを理解しましょう。このコースでは、トランスフォーマーの各コンポーネントを一から実装します。トークン位置のエンコード、アテンション機構の計算、モジュール化したトランスフォーマーコンポーネントの構築を通じて、モデルの内部動作を自在にコントロールできるようになります。ゼロから始めて、LLMの達人を目指しましょう！

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

LLMの仕組みは？トランスフォーマーがテキストモデリングを革新し、生成AIブームを起こした。

PyTorchで学ぶTransformerモデル

LLMの仕組みを解説。transformerがテキストモデリングを革新し、生成AIブームを牽引した理由を学びます。

深層学習（Deep Learning） Pythonで

大規模言語モデル（LLM）の開発

Curriculum Manager, DataCamp

エンコーダ・デコーダ型 Transformer

エンコーダとデコーダの連携

クロスアテンション機構

DecoderLayer の変更

DecoderTransformer の変更

Transformer ヘッド

すべてを統合

Ayo berlatih!

Transformerアーキテクチャの構築 - エンコーダ—デコーダ型トランスフォーマー

エンコーダ—デコーダ型トランスフォーマー

Create Your Free Account