Activation Functions: ReLU กับ ELU

การเลือก activation function ที่ใช้ในโมเดล (ร่วมกับการกำหนดค่าเริ่มต้นของ weight ที่เหมาะสม) ส่งผลอย่างมากต่อกระบวนการฝึกโมเดล โดยเฉพาะอย่างยิ่ง การเลือก activation function ที่เหมาะสมช่วยป้องกันปัญหา gradient ที่ไม่เสถียรในโครงข่ายประสาทเทียมได้

ในแบบฝึกหัดก่อนหน้า เราได้เปลี่ยนจาก ReLU เป็น ELU คุณจำได้ไหมว่าคุณสมบัติใดของทั้งสอง activation function ที่เป็นเหตุผลสนับสนุนการเปลี่ยนแปลงนี้?

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Learning ระดับกลางด้วย PyTorch

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Deep Learning ระดับกลางด้วย PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

เริ่มคอร์สฟรี

เรียนรู้การฝึกโครงข่ายประสาทเทียมอย่างมีประสิทธิภาพ ในบทนี้ คุณจะใช้การเขียนโปรแกรมเชิงวัตถุเพื่อกำหนด PyTorch datasets และโมเดล พร้อมทบทวนความรู้เกี่ยวกับการฝึกและประเมินโครงข่ายประสาทเทียม นอกจากนี้ยังได้ทำความรู้จักกับ optimizer ประเภทต่าง ๆ และเทคนิคที่ช่วยแก้ปัญหา gradient ที่ไม่เสถียร ซึ่งพบได้บ่อยในการฝึกโมเดล

Exercise 1: PyTorch และการเขียนโปรแกรมเชิงวัตถุ Exercise 2: PyTorch Dataset Exercise 3: PyTorch DataLoader Exercise 4: PyTorch Model Exercise 5: Optimizer การฝึก และการประเมินผล Exercise 6: Training loop Exercise 7: Optimizers Exercise 8: การประเมินโมเดล Exercise 9: Gradient ที่หายไปและ Gradient ที่ระเบิด Exercise 10: การกำหนดค่าเริ่มต้นและฟังก์ชัน Activation Exercise 11: Activation Functions: ReLU กับ ELU

แบบฝึกหัดปัจจุบัน

Exercise 12: Batch Normalization

ฝึกโครงข่ายประสาทเทียมสำหรับงานจำแนกประเภทรูปภาพ ในบทนี้ คุณจะเรียนรู้วิธีจัดการข้อมูลรูปภาพใน PyTorch และทำความเข้าใจกับ convolutional neural networks (CNNs) พร้อมฝึกและประเมินโมเดลจำแนกรูปภาพ รวมถึงเรียนรู้วิธีปรับปรุงประสิทธิภาพโมเดลด้วย data augmentation

Exercise 1: การจัดการรูปภาพด้วย PyTorch Exercise 2: ชุดข้อมูลรูปภาพ Exercise 3: Data augmentation Exercise 4: การทำ Data Augmentation ใน PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: เลเยอร์คอนโวลูชัน Exercise 7: การสร้างโครงข่ายประสาทเทียมแบบ Convolutional Exercise 8: การฝึกโมเดลจำแนกประเภทภาพ Exercise 9: การเลือกวิธีเพิ่มข้อมูล (Augmentation)Exercise 10: ชุดข้อมูลพร้อม Augmentation Exercise 11: ลูปการฝึก Image Classifier Exercise 12: การประเมินตัวจำแนกภาพ Exercise 13: การประเมินโมเดลแบบหลายคลาส Exercise 14: การวิเคราะห์ metric แยกตามคลาส

สร้างและฝึก recurrent neural networks (RNNs) สำหรับประมวลผลข้อมูลลำดับ เช่น time series ข้อความ หรือเสียง คุณจะเรียนรู้สถาปัตยกรรม recurrent ที่นิยมที่สุด 2 แบบ ได้แก่ Long Short-Term Memory (LSTM) และ Gated Recurrent Unit (GRU) รวมถึงวิธีเตรียมข้อมูลลำดับสำหรับการฝึกโมเดล และฝึกทักษะโดยการสร้างและประเมินโมเดล recurrent สำหรับพยากรณ์การใช้พลังงานไฟฟ้า

Exercise 1: การจัดการลำดับข้อมูลด้วย PyTorch Exercise 2: การสร้างลำดับข้อมูล Exercise 3: ชุดข้อมูลแบบลำดับ Exercise 4: Recurrent Neural Networks Exercise 5: สถาปัตยกรรมสำหรับข้อมูลลำดับ Exercise 6: สร้าง RNN สำหรับการพยากรณ์Exercise 7: เซลล์ LSTM และ GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: โครงข่าย LSTM Exercise 10: GRU network Exercise 11: การฝึกและประเมินผล RNN Exercise 12: ลูปการฝึก RNN Exercise 13: การประเมินโมเดลพยากรณ์

สร้างโมเดลแบบ multi-input และ multi-output เพื่อแสดงให้เห็นว่าโมเดลเหล่านี้รับมือกับงานที่ต้องการข้อมูลนำเข้ามากกว่าหนึ่งชุดหรือสร้างผลลัพธ์หลายรายการได้อย่างไร คุณจะสำรวจการออกแบบและฝึกโมเดลเหล่านี้ด้วย PyTorch และเจาะลึกเรื่องการถ่วงน้ำหนัก loss ในโมเดล multi-output ซึ่งเป็นการทำความเข้าใจวิธีสร้างสมดุลระหว่างความสำคัญของงานต่าง ๆ เมื่อฝึกโมเดลให้ทำหลายงานพร้อมกัน

Exercise 1: โมเดลแบบหลายอินพุต Exercise 2: ชุดข้อมูลสองอินพุต Exercise 3: โมเดลสองอินพุต Exercise 4: การฝึกโมเดลที่รับ input สองส่วน Exercise 5: โมเดลแบบหลายเอาต์พุต Exercise 6: ชุดข้อมูลและ DataLoader สำหรับโมเดลสองเอาต์พุต Exercise 7: สถาปัตยกรรมโมเดลที่มีสองเอาต์พุต Exercise 8: การเทรนโมเดล multi-output Exercise 9: การประเมินโมเดล multi-output และการถ่วงน้ำหนัก loss Exercise 10: การประเมินผลโมเดลแบบหลายเอาต์พุต Exercise 11: การถ่วงน้ำหนัก Loss Exercise 12: บทสรุป