Vizualizarea valorilor lipsă

Reprezentarea grafică a valorilor lipsă este o metodă rapidă și eficientă de a înțelege cât de incomplete sunt datele tale. De asemenea, poate evidenția tipare în care valorile lipsesc sistematic – un aspect important de gestionat cu atenție, altfel modelul tău ar putea fi părtinitor.

Care variabilă are cele mai multe valori lipsă? Rulează toate liniile de cod cu excepția ultimei pentru a afla răspunsul. Când ești sigur(ă), completează valoarea și apasă „Trimite răspunsul".

Acest exercițiu face parte din cursul

Feature Engineering cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Folosește select() pentru a selecta din dataframe-ul df coloanele din lista columns și eșantionează cu funcția sample() furnizată, apoi atribuie rezultatul variabilei sample_df.
Convertește dataframe-ul rezultat într-un dataframe pandas numit pandas_df, apoi aplică isnull() din pandas pentru a transforma DataFrame-ul în valori True/False. Stochează rezultatul în tf_df.
Folosește heatmap() din seaborn pentru a reprezenta grafic tf_df.
Apasă „Rulează codul" pentru a vizualiza graficul. Apoi atribuie numele variabilei cu cele mai multe valori lipsă variabilei answer.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Sample the dataframe and convert to Pandas
____ = df.select(____).sample(False, 0.1, 42)
____ = ____.toPandas()

# Convert all values to T/F
tf_df = ____.____()

# Plot it
sns.____(data=____)
plt.xticks(rotation=30, fontsize=10)
plt.yticks(rotation=0, fontsize=10)
plt.show()

# Set the answer to the column with the most missing data
answer = '____'

Editează și rulează codul