Menghitung information gain dari warna
Sekarang setelah Anda mengetahui entropi pada node akar dan node anak, Anda dapat menghitung information gain yang diberikan oleh warna.
Pada latihan sebelumnya, Anda telah menghitung entropy_root, entropy_left, dan entropy_right. Nilai-nilai tersebut tersedia di konsol.
Ingat bahwa Anda akan mengambil rata-rata tertimbang dari entropi node anak. Jadi, Anda perlu menghitung proporsi observasi awal yang berakhir di sisi kiri dan kanan dari pemisahan. Simpan masing-masing dalam p_left dan p_right.
Latihan ini merupakan bagian dari kursus
Reduksi Dimensi di R
Instruksi latihan
- Hitung bobot pemisahan — yaitu proporsi observasi pada masing-masing sisi pemisahan.
- Hitung information gain menggunakan bobot dan entropi tersebut.
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
# Calculate the split weights
p_left <- ___/12
p_right <- ___/___
# Calculate the information gain
info_gain <- ___ -
(___ * entropy_left +
p_right * ___)
info_gain