Model sequence to sequence

Dalam video latihan, Anda mempelajari empat jenis model sequence to sequence: many-to-one (klasifikasi) dan many-to-many (generasi teks, neural machine translation, dan model bahasa). Pada latihan ini, Anda harus memilih tipe model yang benar berdasarkan deskripsi masalah berikut:

Anda membantu teman Anda yang merupakan spesialis pengenalan ucapan. Teman Anda membangun model yang dapat mengenali berbagai aksen bahasa Inggris, tetapi model tersebut gagal membedakan homofon—kata-kata dengan pengucapan sama namun memiliki makna berbeda seperti "sea" vs "see" atau "write" vs "right".

Anda mengusulkan untuk menggunakan sebuah model yang memanfaatkan konteks di sekitar kata untuk mengidentifikasi makna semantiknya. Dengan mempelajari makna kata, model baru akan menghindari keluaran seperti "Did you sea that car?" — model akan mengidentifikasi bahwa dalam kasus ini, kata yang benar adalah "see".

Jenis model sequence-to-sequence apa yang tepat?

Latihan ini merupakan bagian dari kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Latihan interaktif langsung

Ubah teori menjadi aksi dengan salah satu latihan interaktif kami

Latihan ini merupakan bagian dari kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

SkillTag.level.advancedSkillTag.label

4.8+

Mulai Kursus Gratis

Pada bab ini, Anda akan mempelajari dasar-dasar Recurrent Neural Networks (RNN). Dimulai dengan beberapa prasyarat, dilanjutkan dengan memahami bagaimana informasi mengalir melalui jaringan, dan akhirnya melihat cara mengimplementasikan model tersebut dengan Keras untuk tugas klasifikasi sentimen.

Exercise 1: Pengantar kursus Exercise 2: Membandingkan jumlah parameter RNN dan ANN Exercise 3: Analisis sentimen Exercise 4: Model sequence to sequence

Latihan Saat Ini

Exercise 5: Pengantar model bahasa Exercise 6: Membiasakan diri dengan data teks Exercise 7: Menyiapkan data teks untuk masukan model Exercise 8: Mentransformasikan teks baru Exercise 9: Pengenalan RNN di dalam Keras Exercise 10: Model Keras Exercise 11: Prapemrosesan Keras Exercise 12: Model RNN pertama Anda

Anda akan mempelajari masalah vanishing dan exploding gradient yang sering terjadi pada RNN, serta cara menanganinya dengan sel GRU dan LSTM. Selain itu, Anda akan membuat lapisan embedding untuk model bahasa dan meninjau kembali tugas klasifikasi sentimen.

Exercise 1: Gradien yang menghilang dan meledak Exercise 2: Masalah exploding gradient Exercise 3: Masalah vanishing gradient Exercise 4: Sel GRU dan LSTM Exercise 5: Sel GRU lebih baik daripada simpleRNN Exercise 6: Menumpuk lapisan RNN Exercise 7: Lapisan Embedding Exercise 8: Perbandingan jumlah parameter Exercise 9: Transfer learning Exercise 10: Embedding meningkatkan kinerja Exercise 11: Klasifikasi sentimen: tinjauan ulang Exercise 12: Klasifikasi sentimen yang lebih baik Exercise 13: Menggunakan lapisan CNN

Berikutnya, pada bab ini Anda akan mempelajari cara menyiapkan data untuk tugas klasifikasi multikelas, serta perbedaan antara klasifikasi multikelas dan klasifikasi biner (analisis sentimen). Terakhir, Anda akan mempelajari cara membuat model dan mengukur kinerjanya dengan Keras.

Exercise 1: Prapemrosesan data Exercise 2: Menyiapkan vektor label Exercise 3: Praproses data Exercise 4: Transfer learning untuk model bahasa Exercise 5: Titik awal transfer learning Exercise 6: Word2Vec Exercise 7: Model klasifikasi multikelas Exercise 8: Menjelajahi himpunan data 20 News Groups Exercise 9: Klasifikasi artikel berita Exercise 10: Menilai kinerja model Exercise 11: Pertukaran Precision-Recall Exercise 12: Precision atau Recall, itu pertanyaannya Exercise 13: Kinerja pada klasifikasi multi-kelas

Bab ini memperkenalkan Anda pada dua aplikasi model RNN: Generasi Teks dan Neural Machine Translation. Anda akan mempelajari cara menyiapkan data teks ke format yang diperlukan oleh model. Model Generasi Teks digunakan untuk meniru gaya bertutur sebuah karakter dan kita akan bersenang-senang menirukan Sheldon dari The Big Bang Theory. Neural Machine Translation digunakan, misalnya, oleh Google Translate dalam model yang jauh lebih kompleks. Pada bab ini, Anda akan membuat model yang menerjemahkan frasa pendek bahasa Portugis ke bahasa Inggris.

Exercise 1: Model Sequence to Sequence Exercise 2: Contoh generasi teks Exercise 3: Contoh NMT Exercise 4: Fungsi Pembangkitan Teks Exercise 5: Prediksi karakter berikutnya Exercise 6: Menghasilkan kalimat dengan konteks Exercise 7: Ubah skala probabilitas Exercise 8: Model Generasi Teks Exercise 9: Buat vektor kalimat dan karakter berikutnya Exercise 10: Menyiapkan data untuk pelatihan Exercise 11: Membuat model pembangkit teks Exercise 12: Neural Machine Translation Exercise 13: Menyiapkan teks masukan Exercise 14: Menyiapkan teks keluaran Exercise 15: Terjemahkan Portugis ke Inggris Exercise 16: Selamat!