Visualizzare i dati mancanti

Saper visualizzare i valori mancanti è un ottimo modo per capire rapidamente quanta parte dei tuoi dati manca. Può anche aiutarti a evidenziare quando le variabili sono mancanti secondo un certo schema: una cosa da gestire con attenzione, altrimenti il tuo modello potrebbe risultare distorto.

Quale variabile ha il maggior numero di valori mancanti? Esegui tutte le righe di codice tranne l’ultima per determinare la risposta. Quando sei sicuro, compila il valore e premi "Invia risposta".

Questo esercizio fa parte del corso

Feature Engineering con PySpark

Visualizza corso

Istruzioni dell'esercizio

Usa select() per sottoimpostare il dataframe df con l’elenco di colonne columns e campionalo con la funzione sample() fornita; assegna questo dataframe alla variabile sample_df.
Converte il dataframe sottoinsieme in un dataframe pandas pandas_df e usa isnull() di pandas per trasformare il DataFrame in valori True/False. Salva questo risultato in tf_df.
Usa heatmap() di seaborn per rappresentare tf_df.
Premi "Esegui codice" per visualizzare il grafico. Poi assegna il nome della variabile con più valori mancanti a answer.

esercizio interattivo pratico

Prova questo esercizio completando questo codice di esempio.

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'

Modifica ed esegui il codice