Menghitung information gain dari warna
Sekarang setelah Anda mengetahui entropi pada node akar dan node anak, Anda dapat menghitung information gain yang diberikan oleh warna.
Pada latihan sebelumnya, Anda telah menghitung entropy_root, entropy_left, dan entropy_right. Nilai-nilai tersebut tersedia di konsol.
Ingat bahwa Anda akan mengambil rata-rata tertimbang dari entropi node anak. Jadi, Anda perlu menghitung proporsi observasi awal yang berakhir di sisi kiri dan kanan dari pemisahan. Simpan masing-masing dalam p_left dan p_right.
Latihan ini adalah bagian dari kursus
Reduksi Dimensi di R
Petunjuk latihan
- Hitung bobot pemisahan — yaitu proporsi observasi pada masing-masing sisi pemisahan.
- Hitung information gain menggunakan bobot dan entropi tersebut.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain