Pertukaran Precision-Recall

Saat mengerjakan tugas klasifikasi, istilah Precision-Recall trade-off sering muncul. Dari mana asalnya?

Biasanya, kelas dengan probabilitas tertinggi dipilih untuk menetapkan suatu dokumen. Namun, bagaimana jika probabilitas maksimum bernilai 0.1? Haruskah Anda menganggap dokumen tersebut termasuk ke kelas itu dengan probabilitas hanya 10%?

Jawabannya tergantung pada masalah yang dihadapi. Anda dapat menambahkan ambang minimum untuk menerima hasil klasifikasi, dan ketika ambang ini diubah, nilai precision dan recall akan bergerak berlawanan arah.

Variabel y_true dan model model sudah dimuat. Selain itu, jika probabilitas lebih rendah daripada ambang, dokumen akan ditetapkan ke DEFAULT_CLASS (dipilih sebagai kelas 2).

Latihan ini merupakan bagian dari kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

Instruksi latihan

Gunakan metode .predict() untuk memperoleh probabilitas tiap kelas dan simpan ke variabel pred_probabilities.
Terima probabilitas maksimum hanya jika nilainya lebih besar atau sama dengan 0.5 dan simpan hasilnya ke variabel y_pred_50.
Gunakan fungsi np.argmax() dan np.max() untuk melakukan hal yang sama untuk ambang bernilai 0.8.
Cetak variabel trade_off beserta seluruh metriknya.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

# Get probabilities for each class
pred_probabilities = model.____(X_test)

# Thresholds at 0.5 and 0.8
y_pred_50 = [np.argmax(x) if np.max(x) >= ____ else DEFAULT_CLASS for x in pred_probabilities]
y_pred_80 = [np.____(x) if np.____(x) >= 0.8 else DEFAULT_CLASS for x in pred_probabilities]

trade_off = pd.DataFrame({
    'Precision_50': precision_score(y_true, y_pred_50, average=None), 
    'Precision_80': precision_score(y_true, y_pred_80, average=None), 
    'Recall_50': recall_score(y_true, y_pred_50, average=None), 
    'Recall_80': recall_score(y_true, y_pred_80, average=None)}, 
  index=['Class 1', 'Class 2', 'Class 3'])

____

Edit dan Jalankan Kode

Latihan ini merupakan bagian dari kursus

Recurrent Neural Networks (RNN) untuk Pemodelan Bahasa dengan Keras

SkillTag.level.advancedSkillTag.label

4.8+

Mulai Kursus Gratis

Pada bab ini, Anda akan mempelajari dasar-dasar Recurrent Neural Networks (RNN). Dimulai dengan beberapa prasyarat, dilanjutkan dengan memahami bagaimana informasi mengalir melalui jaringan, dan akhirnya melihat cara mengimplementasikan model tersebut dengan Keras untuk tugas klasifikasi sentimen.

Exercise 1: Pengantar kursus Exercise 2: Membandingkan jumlah parameter RNN dan ANN Exercise 3: Analisis sentimen Exercise 4: Model sequence to sequence Exercise 5: Pengantar model bahasa Exercise 6: Membiasakan diri dengan data teks Exercise 7: Menyiapkan data teks untuk masukan model Exercise 8: Mentransformasikan teks baru Exercise 9: Pengenalan RNN di dalam Keras Exercise 10: Model Keras Exercise 11: Prapemrosesan Keras Exercise 12: Model RNN pertama Anda

Anda akan mempelajari masalah vanishing dan exploding gradient yang sering terjadi pada RNN, serta cara menanganinya dengan sel GRU dan LSTM. Selain itu, Anda akan membuat lapisan embedding untuk model bahasa dan meninjau kembali tugas klasifikasi sentimen.

Exercise 1: Gradien yang menghilang dan meledak Exercise 2: Masalah exploding gradient Exercise 3: Masalah vanishing gradient Exercise 4: Sel GRU dan LSTM Exercise 5: Sel GRU lebih baik daripada simpleRNN Exercise 6: Menumpuk lapisan RNN Exercise 7: Lapisan Embedding Exercise 8: Perbandingan jumlah parameter Exercise 9: Transfer learning Exercise 10: Embedding meningkatkan kinerja Exercise 11: Klasifikasi sentimen: tinjauan ulang Exercise 12: Klasifikasi sentimen yang lebih baik Exercise 13: Menggunakan lapisan CNN

Berikutnya, pada bab ini Anda akan mempelajari cara menyiapkan data untuk tugas klasifikasi multikelas, serta perbedaan antara klasifikasi multikelas dan klasifikasi biner (analisis sentimen). Terakhir, Anda akan mempelajari cara membuat model dan mengukur kinerjanya dengan Keras.

Exercise 1: Prapemrosesan data Exercise 2: Menyiapkan vektor label Exercise 3: Praproses data Exercise 4: Transfer learning untuk model bahasa Exercise 5: Titik awal transfer learning Exercise 6: Word2Vec Exercise 7: Model klasifikasi multikelas Exercise 8: Menjelajahi himpunan data 20 News Groups Exercise 9: Klasifikasi artikel berita Exercise 10: Menilai kinerja model Exercise 11: Pertukaran Precision-Recall

Latihan Saat Ini

Exercise 12: Precision atau Recall, itu pertanyaannya Exercise 13: Kinerja pada klasifikasi multi-kelas

Bab ini memperkenalkan Anda pada dua aplikasi model RNN: Generasi Teks dan Neural Machine Translation. Anda akan mempelajari cara menyiapkan data teks ke format yang diperlukan oleh model. Model Generasi Teks digunakan untuk meniru gaya bertutur sebuah karakter dan kita akan bersenang-senang menirukan Sheldon dari The Big Bang Theory. Neural Machine Translation digunakan, misalnya, oleh Google Translate dalam model yang jauh lebih kompleks. Pada bab ini, Anda akan membuat model yang menerjemahkan frasa pendek bahasa Portugis ke bahasa Inggris.

Exercise 1: Model Sequence to Sequence Exercise 2: Contoh generasi teks Exercise 3: Contoh NMT Exercise 4: Fungsi Pembangkitan Teks Exercise 5: Prediksi karakter berikutnya Exercise 6: Menghasilkan kalimat dengan konteks Exercise 7: Ubah skala probabilitas Exercise 8: Model Generasi Teks Exercise 9: Buat vektor kalimat dan karakter berikutnya Exercise 10: Menyiapkan data untuk pelatihan Exercise 11: Membuat model pembangkit teks Exercise 12: Neural Machine Translation Exercise 13: Menyiapkan teks masukan Exercise 14: Menyiapkan teks keluaran Exercise 15: Terjemahkan Portugis ke Inggris Exercise 16: Selamat!