Eliminare un elenco di colonne
Il nostro insieme di dati è ricco di molte caratteristiche, ma non tutte sono utili. Ce ne sono diverse che sarà difficile trasformare in qualcosa di significativo. Per ora, rimuoviamo le colonne che non sono immediatamente utili eliminandole.
'STREETNUMBERNUMERIC': Il numero civico dell'indirizzo'FIREPLACES': Numero di caminetti nell'abitazione'LOTSIZEDIMENSIONS': Testo libero che descrive la forma del lotto'LISTTYPE': Insieme predefinito di valori per il tipo di vendita'ACRES': Superficie numerica della dimensione del lotto
Questo esercizio fa parte del corso
Feature Engineering con PySpark
Istruzioni dell'esercizio
- Leggi l'elenco delle colonne sopra e esplora i loro primi 30 valori con
show(). Il dataframe è già filtrato alle colonne elencate comedf. - Crea una lista di due colonne da eliminare, chiamata
cols_to_drop, in base alla loro scarsa rilevanza nella previsione dei prezzi delle case. Ricorda che i computer interpretano esplicitamente solo i numeri e non capiscono il contesto. - Usa la funzione
drop()per rimuovere dal dataframedfle colonne nella listacols_to_drop.
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
# Show top 30 records
df.____(____)
# List of columns to remove from dataset
cols_to_drop = [____, ____]
# Drop columns in list
df = df.____(____)