ค้นพบว่าอะไรทำให้สถาปัตยกรรม deep learning ที่ได้รับความนิยมสูงสุดใน AI ทำงานได้อย่างทรงพลัง เรียนรู้ส่วนประกอบต่างๆ ของ Transformer models รวมถึง self-attention mechanism อันโด่งดังที่อธิบายไว้ในงานวิจัยชื่อเลื่องลือ "Attention is All You Need"

Transformer Models ด้วย PyTorch

ทำความเข้าใจโครงสร้าง Transformer

Transformer ด้วย PyTorch

เอ็มเบดดิ้งและการเข้ารหัสตำแหน่ง

การสร้าง Input Embeddings

การสร้าง Positional Encoding

Multi-head self-attention

การนำ Multi-Head Attention ไปใช้งาน

เริ่มต้นสร้างคลาส MultiHeadAttention

เพิ่มเมธอดให้กับคลาส MultiHeadAttention

ส่วนประกอบพื้นฐานของ Transformer Models

ออกแบบบล็อก encoder และ decoder ของ transformer แล้วนำมารวมกับ positional encoding, multi-headed attention และ position-wise feed-forward network เพื่อสร้างสถาปัตยกรรม Transformer ของตัวเอง ระหว่างทาง คุณจะได้เข้าใจอย่างลึกซึ้งว่า transformer ทำงานอย่างไรภายใต้เบื้องหลัง

Encoder transformers

Feed-forward sublayers

เลเยอร์ encoder transformer

โครงสร้างหลักของ encoder transformer

การเพิ่ม Transformer Head

Decoder Transformers

การออกแบบ mask สำหรับ self-attention

Decoder layer

สร้าง decoder transformer ให้สมบูรณ์

Transformer แบบ Encoder-Decoder

เพิ่ม cross-attention ใน decoder layer

การสร้าง Encoder-Decoder Transformer

ยินดีด้วย!

การสร้างสถาปัตยกรรม Transformer

เจาะลึก LLM และทำความเข้าใจว่าสถาปัตยกรรม transformer เปลี่ยนโฉม deep learning และจุดประกาย generative AI ได้อย่างไร ในคอร์สนี้ คุณจะได้สร้างสถาปัตยกรรม transformer ของตัวเองตั้งแต่ต้น ทีละส่วนประกอบ ตั้งแต่การเข้ารหัสตำแหน่งของ token การคำนวณ attention mechanism ไปจนถึงการสร้างส่วนประกอบ transformer แบบโมดูล เพื่อให้ควบคุมการทำงานภายในได้อย่างเต็มที่ เริ่มต้นจากศูนย์แล้วก้าวสู่การเป็นผู้เชี่ยวชาญ LLM ได้เลย!

<h2>เจาะลึกสถาปัตยกรรม Transformer</h2>
โมเดลทรานส์ฟอร์เมอร์ได้ปฏิวัติการสร้างแบบจำลองข้อความ และเป็นจุดเริ่มต้นของกระแส Generative AI ด้วยการทำให้โมเดลภาษาขนาดใหญ่ (LLMs) ในปัจจุบันเป็นไปได้ ในหลักสูตรนี้ คุณจะได้สำรวจองค์ประกอบสำคัญของสถาปัตยกรรมนี้ รวมถึงการเข้ารหัสตำแหน่ง กลไกความสนใจ และซับเลเยอร์แบบฟีดฟอร์เวิร์ด คุณจะเขียนโค้ดคอมโพเนนต์เหล่านี้ในลักษณะโมดูลาร์ เพื่อสร้าง transformer ของคุณเองทีละขั้นตอน<br><br><h2>นำกลไก Attention ไปใช้ด้วย PyTorch</h2>
กลไกความสนใจเป็นพัฒนาการสำคัญที่ช่วยทำให้สถาปัตยกรรมทรานส์ฟอร์เมอร์มีความเป็นรูปธรรมมากขึ้น Self-attention ช่วยให้ทรานส์ฟอร์เมอร์ระบุความสัมพันธ์ระหว่างโทเค็นได้ดีขึ้น ซึ่งช่วยยกระดับคุณภาพของข้อความที่สร้างขึ้น เรียนรู้วิธีสร้างคลาสกลไกการให้ความสนใจแบบหลายหัว ซึ่งจะเป็นองค์ประกอบสำคัญในโมเดลทรานส์ฟอร์มเมอร์ของคุณ<br><br><h2>สร้างโมเดล Transformer ของคุณเอง</h2>
เรียนรู้การสร้างโมเดลทรานส์ฟอร์มเมอร์แบบ encoder-only, decoder-only และ encoder-decoder เรียนรู้วิธีเลือกและเขียนโค้ดสถาปัตยกรรมทรานส์ฟอร์เมอร์ที่แตกต่างกันเหล่านี้สำหรับงานด้านภาษาที่หลากหลาย รวมถึงการจำแนกประเภทข้อความและการวิเคราะห์ความรู้สึก การสร้างและเติมข้อความให้สมบูรณ์ และการแปลแบบลำดับต่อเนื่องถึงลำดับต่อเนื่อง

Natural Language Processing (NLP) in Python

Intermediate Deep Learning with PyTorch

อะไรทำให้ LLMs ทำงาน? ค้นพบว่า transformers ปฏิวัติการสร้างโมเดลข้อความและเริ่มต้น AI สร้างสรรค์ได้อย่างไร

อะไรทำให้ LLMs ทำงาน? ค้นพบว่า transformers ปฏิวัติการสร้างแบบจำลองข้อความและจุดชนวนการเติบโตของ generative AI ได้อย่างไร

การเรียนรู้เชิงลึก ใน Python

การพัฒนาโมเดลภาษาขนาดใหญ่

Curriculum Manager, DataCamp

บทที่ 1

บทที่ 2 - Encoders และ Decoders

บทที่ 2 - Encoder-decoder transformer

ขั้นตอนถัดไป

มาฝึกกันเถอะ!

การสร้างสถาปัตยกรรม Transformer - ยินดีด้วย!

ยินดีด้วย!

Create Your Free Account