Calculează procentele de valori lipsă

Automatizarea este viitorul științei datelor. Să înveți să automatizezi pregătirea datelor îți aduce beneficii pe termen lung. În acest exercițiu, vom automatiza eliminarea coloanelor care au date lipsă peste un anumit prag.

Acest exercițiu face parte din cursul

Feature Engineering cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Definește o funcție column_dropper() care primește parametrii df (un DataFrame) și threshold (un număr zecimal între 0 și 1).
Calculează procentul valorilor lipsă folosind where(), isNull() și count().
Verifică dacă procentul valorilor lipsă depășește pragul; dacă da, elimină coloana folosind drop().
Rulează column_dropper() pe df cu pragul setat la .6.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def column_dropper(df, threshold):
  # Takes a dataframe and threshold for missing values. Returns a dataframe.
  total_records = df.____()
  for col in df.columns:
    # Calculate the percentage of missing values
    missing = df.____(df[col].____()).____()
    missing_percent = ____ / ____
    # Drop column if percent of missing is more than threshold
    if ____ > ____:
      df = df.____(col)
  return df

# Drop columns that are more than 60% missing
df = ____(____, ____)

Editează și rulează codul