ทำความเข้าใจ activation functions

คุณได้เรียนรู้เกี่ยวกับ ReLU และ leaky ReLU ไปแล้ว ข้อความใดสองข้อต่อไปนี้ เป็นความจริง?

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Learning เบื้องต้นด้วย PyTorch

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Learning เบื้องต้นด้วย PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

เริ่มคอร์สฟรี

รถยนต์ขับขี่อัตโนมัติ สมาร์ทโฟน เสิร์ชเอนจิน... deep learning อยู่รอบตัวเราในทุกวันนี้ ก่อนจะเริ่มสร้างโมเดลที่ซับซ้อน คุณจะได้ทำความรู้จักกับ PyTorch ซึ่งเป็น framework สำหรับ deep learning รวมถึงเรียนรู้การจัดการ tensor การสร้างโครงสร้างข้อมูลใน PyTorch และการสร้าง neural network แรกด้วย linear layers

Exercise 1: Deep Learning เบื้องต้นด้วย PyTorch Exercise 2: เริ่มต้นใช้งาน PyTorch tensors Exercise 3: การตรวจสอบและบวก tensor Exercise 4: โครงข่ายประสาทเทียมและเลเยอร์Exercise 5: โครงข่ายที่มี linear layer Exercise 6: ทำความเข้าใจ Weights Exercise 7: เลเยอร์ที่ซ่อนอยู่และพารามิเตอร์Exercise 8: โครงข่ายประสาทเทียมแรกของคุณ Exercise 9: การซ้อนเลเยอร์เชิงเส้น Exercise 10: การนับจำนวนพารามิเตอร์

ในการฝึก neural network ด้วย PyTorch คุณจะต้องทำความเข้าใจส่วนประกอบเพิ่มเติม เช่น activation function และ loss function จากนั้นจะพบว่าการฝึกโมเดลต้องอาศัยการลด loss function ซึ่งทำได้โดยการคำนวณ gradient และนำ gradient เหล่านั้นไปอัปเดตพารามิเตอร์ของโมเดล

Exercise 1: ทำความรู้จักกับฟังก์ชันกระตุ้น Exercise 2: ทดสอบความเข้าใจของคุณ!Exercise 3: ฟังก์ชัน Sigmoid และ Softmax Exercise 4: การรัน forward pass Exercise 5: การสร้าง Binary Classifier ด้วย PyTorch Exercise 6: จาก Regression สู่ Multi-class Classification Exercise 7: การใช้ฟังก์ชันความสูญเสียเพื่อประเมินการทำนายของโมเดล Exercise 8: การสร้าง label แบบ one-hot encoding Exercise 9: การคำนวณ Cross Entropy Loss Exercise 10: การใช้ Derivative เพื่ออัปเดตพารามิเตอร์ของโมเดล Exercise 11: การเข้าถึงพารามิเตอร์ของโมเดล Exercise 12: การอัปเดตค่าน้ำหนักด้วยตนเอง Exercise 13: การใช้ optimizer ของ PyTorch

เมื่อเรียนรู้ส่วนประกอบสำคัญของ neural network แล้ว คุณจะได้ฝึกโมเดลโดยใช้ training loop พร้อมสำรวจปัญหาที่อาจเกิดขึ้น เช่น vanishing gradient และเรียนรู้วิธีแก้ไข ไม่ว่าจะเป็นการใช้ activation function แบบอื่น หรือการปรับ learning rate และ momentum

Exercise 1: เจาะลึกการโหลดข้อมูล Exercise 2: การใช้งาน TensorDataset Exercise 3: การใช้ DataLoader Exercise 4: เขียน Training Loop แรกของเรา Exercise 5: การใช้ MSELoss Exercise 6: การเขียน training loop Exercise 7: ฟังก์ชัน Activation แบบ ReLU Exercise 8: การใช้งาน ReLU Exercise 9: การนำ Leaky ReLU ไปใช้งาน Exercise 10: ทำความเข้าใจ activation functions

แบบฝึกหัดปัจจุบัน

Exercise 11: อัตราการเรียนรู้และโมเมนตัม Exercise 12: ทดลองปรับ Learning Rate Exercise 13: ทดลองปรับค่า momentum

การฝึกโมเดล deep learning ต้องอาศัยทั้งความรู้และประสบการณ์ เพื่อให้แน่ใจว่าโมเดลได้รับการฝึกอย่างถูกต้อง จำเป็นต้องติดตามค่าเมตริกต่าง ๆ ระหว่างการฝึก เช่น ค่า loss หรือค่าความแม่นยำ คุณจะได้เรียนรู้วิธีคำนวณเมตริกเหล่านี้และวิธีลด overfitting

Exercise 1: การกำหนดค่าเริ่มต้นของเลเยอร์และ Transfer Learning Exercise 2: กระบวนการ Fine-tuning Exercise 3: ฟรีซเลเยอร์ของโมเดล Exercise 4: การกำหนดค่าเริ่มต้นของเลเยอร์Exercise 5: การประเมินประสิทธิภาพของโมเดล Exercise 6: เขียน Evaluation Loop Exercise 7: การคำนวณความแม่นยำด้วย torchmetrics Exercise 8: การรับมือกับ Overfitting Exercise 9: ทดลองใช้ Dropout Exercise 10: ทำความเข้าใจ Overfitting Exercise 11: การปรับปรุงประสิทธิภาพโมเดล Exercise 12: การนำ Random Search ไปใช้งาน Exercise 13: วิดีโอสรุป