2017年にVaswaniらが提案したトランスフォーマーアーキテクチャは、従来のRecurrent Neural Networks（RNN）に比べて大きな進歩をもたらしました。
トランスフォーマーアーキテクチャがRNNに対して提供する鍵となる進歩は何でしょうか。
この演習はコースの一部です
理論を実践に変える、インタラクティブな演習のひとつをお試しください
ChatGPTのアーキテクチャの基本を、トランスフォーマー、トークナイゼーション、自己注意機構に焦点を当てて学びます。GPT-1からGPT-4への進化をたどり、コア要素と、事前学習、ファインチューニング、人間のフィードバックによる強化学習（RLHF）などの学習手法を取り上げ、自然言語処理（NLP）を革新した進歩を明らかにします。
現在の演習
プロンプト作成力をさらに高め、精度と創造性を両立する上級テクニックに取り組みます。学習者は、明確化のためにXMLタグを使った交渉シナリオを練習し、昇給交渉のスキルを強化します。さらに、少数ショットプロンプティングや思考タグを活用してスタートアップのアイデアを生み出す方法も探究します。章の最後には、多様な用途に対応できる高品質で効果的なプロンプトを作成できるようになります。
ChatGPTの高度な機能を探ります。まず、インタラクションを個別化するカスタムインストラクションから始めます。次に、さまざまなユースケースに合わせたソリューションを実現するため、Custom GPTの構築とデプロイの柔軟性を深く学びます。最後に、汎用人工知能（AGI）に向かう中での今後の進展や、AI開発における倫理的課題など、ChatGPTの将来像を考察します。
