2017年にVaswaniらによって提案されたトランスフォーマーアーキテクチャは、それまで広く使われていたリカレントニューラルネットワーク（RNN）と比較して、大きな技術的進歩をもたらしました。
トランスフォーマーアーキテクチャは、どのような進歩をRNNにもたらしたでしょうか？
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
ChatGPTのアーキテクチャの基礎を学びましょう。トランスフォーマー、トークン化、自己注意機構に焦点を当てます。GPT-1から GPT-4への進化をたどりながら、主要な要素や、事前学習・ファインチューニング・人間のフィードバックに基づく強化学習（RLHF）といった学習手法を理解します。自然言語処理（NLP）に革新をもたらした技術的進歩についても取り上げます。
現在の演習
精度と創造性を高める高度なテクニックを中心に、プロンプト作成スキルをさらに磨きましょう。明確さを高めるXMLタグを活用して交渉シナリオを練習し、昇給交渉に役立つスキルを身につけます。また、フューショットプロンプティングとthinkingタグを使ったスタートアップのアイデアの生成方法も探求します。章の終わりには、さまざまな用途に対応する質の高い効果的なプロンプトを作成できるようになります。
ChatGPTの高度な機能を探求しましょう。まず、カスタム指示を使ってやり取りをパーソナライズする方法を学びます。次に、さまざまな使用事例に合わせたカスタム GPTの構築とデプロイの柔軟性を探ります。最後に、汎用人工知能（AGI）への発展の可能性や、AI 開発における可能性や倫理的な課題を含む ChatGPTのこれからを考察します。
