Aktivasi: ReLU vs. ELU

Pilihan fungsi aktivasi yang digunakan dalam model (dipadukan dengan inisialisasi bobot yang sesuai) dapat sangat memengaruhi proses pelatihan. Khususnya, aktivasi yang tepat dapat mencegah jaringan mengalami masalah gradien tidak stabil.

Pada latihan sebelumnya, Anda telah beralih dari aktivasi ReLU ke ELU. Apakah Anda ingat karakteristik kedua aktivasi yang membenarkan perubahan ini?

Latihan ini merupakan bagian dari kursus

Deep Learning Lanjutan dengan PyTorch

Lihat Kursus

Latihan interaktif langsung

Ubah teori menjadi aksi dengan salah satu latihan interaktif kami

Mulai latihan

Latihan ini merupakan bagian dari kursus

Deep Learning Lanjutan dengan PyTorch

SkillTag.level.intermediateSkillTag.label

4.8+

2093 reviews

Mulai Kursus Gratis

Pelajari cara melatih neural network secara andal. Pada bab ini, Anda akan menggunakan pemrograman berorientasi objek untuk mendefinisikan himpunan data dan model PyTorch serta menyegarkan kembali pengetahuan Anda tentang pelatihan dan evaluasi neural network. Anda juga akan mengenal berbagai optimizer dan, pada akhirnya, memahami beragam teknik yang membantu mengatasi masalah gradien tidak stabil yang begitu umum dalam pelatihan neural net.

Exercise 1: PyTorch dan pemrograman berorientasi objek Exercise 2: Himpunan Data PyTorch Exercise 3: PyTorch DataLoader Exercise 4: Model PyTorch Exercise 5: Optimizer, pelatihan, dan evaluasi Exercise 6: Training loop Exercise 7: Optimizer Exercise 8: Evaluasi model Exercise 9: Gradien menghilang dan meledak Exercise 10: Inisialisasi dan aktivasi Exercise 11: Aktivasi: ReLU vs. ELU

Latihan Saat Ini

Exercise 12: Batch Normalization

Latih neural network untuk menyelesaikan tugas klasifikasi citra. Pada bab ini, Anda akan mempelajari cara menangani data citra di PyTorch dan mendalami convolutional neural networks (CNN). Anda akan berlatih melatih dan mengevaluasi pengklasifikasi citra sambil mempelajari cara meningkatkan kinerja model dengan augmentasi data.

Exercise 1: Menangani gambar dengan PyTorch Exercise 2: Himpunan data gambar Exercise 3: Augmentasi data Exercise 4: Augmentasi data di PyTorch Exercise 5: Convolutional Neural Networks Exercise 6: Layer konvolusi Exercise 7: Membangun jaringan konvolusional Exercise 8: Melatih pengklasifikasi gambar Exercise 9: Memilih augmentasi Exercise 10: Himpunan data dengan augmentasi Exercise 11: Loop pelatihan pengklasifikasi gambar Exercise 12: Mengevaluasi pengklasifikasi gambar Exercise 13: Evaluasi model multi-kelas Exercise 14: Menganalisis metrik per kelas

Bangun dan latih recurrent neural networks (RNN) untuk memproses data berurutan seperti deret waktu, teks, atau audio. Anda akan mempelajari dua arsitektur recurrent paling populer, Long-Short Term Memory (LSTM) dan Gated Recurrent Unit (GRU), serta cara menyiapkan data berurutan untuk pelatihan model. Anda akan mempraktikkan keterampilan dengan melatih dan mengevaluasi model recurrent untuk memprediksi konsumsi listrik.

Exercise 1: Menangani sekuens dengan PyTorch Exercise 2: Membuat sekuens Exercise 3: Himpunan Data Sekuensial Exercise 4: Recurrent Neural Networks Exercise 5: Arsitektur sekuensial Exercise 6: Membangun RNN untuk peramalan Exercise 7: Sel LSTM dan GRU Exercise 8: RNN vs. LSTM vs. GRU Exercise 9: Jaringan LSTM Exercise 10: Jaringan GRU Exercise 11: Melatih dan mengevaluasi RNN Exercise 12: RNN training loop Exercise 13: Mengevaluasi model peramalan

Bangun model multi-input dan multi-output, menunjukkan bagaimana model tersebut dapat menangani tugas yang memerlukan lebih dari satu masukan atau menghasilkan banyak keluaran. Anda akan mengeksplorasi cara merancang dan melatih model ini menggunakan PyTorch dan mendalami topik krusial tentang pembobotan loss pada model multi-output. Ini mencakup pemahaman cara menyeimbangkan pentingnya berbagai tugas saat melatih model untuk melakukan banyak tugas secara bersamaan.

Exercise 1: Model multi-masukan Exercise 2: Himpunan data dua masukan Exercise 3: Model dua masukan Exercise 4: Melatih model dengan dua masukan Exercise 5: Model multi-output Exercise 6: Dataset dan DataLoader dengan Dua Keluaran Exercise 7: Arsitektur model dua keluaran Exercise 8: Melatih model multi-output Exercise 9: Evaluasi model multi-output dan pembobotan loss Exercise 10: Evaluasi model multi-output Exercise 11: Pembobotan loss Exercise 12: Penutup