Praproses data

Anda telah mempelajari perbedaan prapemrosesan data untuk kasus klasifikasi multi-kelas. Mari kita praktikkan dengan menyiapkan data untuk membuat model klasifikasi multi-kelas sederhana.

Himpunan data dimuat ke dalam variabel news_dataset, dan memiliki atribut berikut:

news_dataset.data: array berisi teks
news_dataset.target: array berisi kategori target sebagai indeks numerik

Data contoh berisi 5.000 observasi.

Latihan ini merupakan bagian dari kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Instruksi latihan

Instansiasikan kelas Tokenizer pada variabel tokenizer.
Fit variabel tokenizer pada data teks.
Gunakan metode .texts_to_sequences() pada data teks.
Gunakan fungsi to_categorical() untuk menyiapkan indeks target.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Create and fit tokenizer
tokenizer = ____
tokenizer.fit_on_texts(____)

# Prepare the data
prep_data = tokenizer.____(news_dataset.data)
prep_data = pad_sequences(prep_data, maxlen=200)

# Prepare the labels
target_labels = to_categorical(____)

# Print the shapes
print(prep_data.shape)
print(target_labels.shape)

Edit dan Jalankan Kode

Latihan ini merupakan bagian dari kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

SkillTag.level.advancedSkillTag.label

4.8+

Mulai Kursus Gratis

Pada bab ini, Anda akan mempelajari dasar-dasar Recurrent Neural Networks (RNN). Dimulai dengan beberapa prasyarat, dilanjutkan dengan memahami bagaimana informasi mengalir melalui jaringan, dan akhirnya melihat cara mengimplementasikan model tersebut dengan Keras untuk tugas klasifikasi sentimen.

Exercise 1: Pengantar kursus Exercise 2: Membandingkan jumlah parameter RNN dan ANN Exercise 3: Analisis sentimen Exercise 4: Model sequence to sequence Exercise 5: Pengantar model bahasa Exercise 6: Membiasakan diri dengan data teks Exercise 7: Menyiapkan data teks untuk masukan model Exercise 8: Mentransformasikan teks baru Exercise 9: Pengenalan RNN di dalam Keras Exercise 10: Model Keras Exercise 11: Prapemrosesan Keras Exercise 12: Model RNN pertama Anda

Anda akan mempelajari masalah vanishing dan exploding gradient yang sering terjadi pada RNN, serta cara menanganinya dengan sel GRU dan LSTM. Selain itu, Anda akan membuat lapisan embedding untuk model bahasa dan meninjau kembali tugas klasifikasi sentimen.

Exercise 1: Gradien yang menghilang dan meledak Exercise 2: Masalah exploding gradient Exercise 3: Masalah vanishing gradient Exercise 4: Sel GRU dan LSTM Exercise 5: Sel GRU lebih baik daripada simpleRNN Exercise 6: Menumpuk lapisan RNN Exercise 7: Lapisan Embedding Exercise 8: Perbandingan jumlah parameter Exercise 9: Transfer learning Exercise 10: Embedding meningkatkan kinerja Exercise 11: Klasifikasi sentimen: tinjauan ulang Exercise 12: Klasifikasi sentimen yang lebih baik Exercise 13: Menggunakan lapisan CNN

Berikutnya, pada bab ini Anda akan mempelajari cara menyiapkan data untuk tugas klasifikasi multikelas, serta perbedaan antara klasifikasi multikelas dan klasifikasi biner (analisis sentimen). Terakhir, Anda akan mempelajari cara membuat model dan mengukur kinerjanya dengan Keras.

Exercise 1: Prapemrosesan data Exercise 2: Menyiapkan vektor label Exercise 3: Praproses data

Latihan Saat Ini

Exercise 4: Transfer learning untuk model bahasa Exercise 5: Titik awal transfer learning Exercise 6: Word2Vec Exercise 7: Model klasifikasi multikelas Exercise 8: Menjelajahi himpunan data 20 News Groups Exercise 9: Klasifikasi artikel berita Exercise 10: Menilai kinerja model Exercise 11: Pertukaran Precision-Recall Exercise 12: Precision atau Recall, itu pertanyaannya Exercise 13: Kinerja pada klasifikasi multi-kelas

Bab ini memperkenalkan Anda pada dua aplikasi model RNN: Generasi Teks dan Neural Machine Translation. Anda akan mempelajari cara menyiapkan data teks ke format yang diperlukan oleh model. Model Generasi Teks digunakan untuk meniru gaya bertutur sebuah karakter dan kita akan bersenang-senang menirukan Sheldon dari The Big Bang Theory. Neural Machine Translation digunakan, misalnya, oleh Google Translate dalam model yang jauh lebih kompleks. Pada bab ini, Anda akan membuat model yang menerjemahkan frasa pendek bahasa Portugis ke bahasa Inggris.

Exercise 1: Model Sequence to Sequence Exercise 2: Contoh generasi teks Exercise 3: Contoh NMT Exercise 4: Fungsi Pembangkitan Teks Exercise 5: Prediksi karakter berikutnya Exercise 6: Menghasilkan kalimat dengan konteks Exercise 7: Ubah skala probabilitas Exercise 8: Model Generasi Teks Exercise 9: Buat vektor kalimat dan karakter berikutnya Exercise 10: Menyiapkan data untuk pelatihan Exercise 11: Membuat model pembangkit teks Exercise 12: Neural Machine Translation Exercise 13: Menyiapkan teks masukan Exercise 14: Menyiapkan teks keluaran Exercise 15: Terjemahkan Portugis ke Inggris Exercise 16: Selamat!