セルフヘッドとマルチヘッドアテンション
あなたはAI開発チームのデータアナリストです。現在のプロジェクトでは、言語モデルにおける自己注意(セルフアテンション)とマルチヘッドアテンションの概念を理解し、実装することが求められています。以下は、会話データセットから抽出したフレーズです。
インタラクティブなアプリケーションを使って、自己注意(テキスト内の特定の単語間の関係に着目)とマルチヘッドアテンション(テキストの複数の側面を同時に処理)の違いを探ってみましょう。
次の分析タスクのうち、自己注意とマルチヘッドアテンションに該当するものはどれですか?
この演習はコースの一部です
