1. Nauka
    2. /
  2. Kursy
    3. /
  3. Redukcja wymiarowości w Pythonie
Connected

ćwiczenie

Usuwanie silnie skorelowanych cech

Zautomatyzujesz usuwanie silnie skorelowanych cech w liczbowym zbiorze danych ANSUR. Obliczysz macierz korelacji i odfiltrowania kolumny, których współczynnik korelacji przekracza 0.95 lub jest mniejszy niż -0.95.

Ponieważ każdy współczynnik korelacji pojawia się w macierzy dwukrotnie (korelacja A z B jest równa korelacji B z A), warto pominąć połowę macierzy korelacji – dzięki temu usunięta zostanie tylko jedna z dwóch skorelowanych cech. Użyj do tego celu triku z maską.

Instrukcje

100 XP
  • Oblicz macierz korelacji dla ansur_df i zastosuj wartość bezwzględną tej macierzy.
  • Utwórz maskę logiczną z wartościami True w górnym prawym trójkącie i zastosuj ją do macierzy korelacji.
  • Ustaw próg współczynnika korelacji na 0.95.
  • Usuń z DataFrame'u wszystkie kolumny wymienione w to_drop.