Différences

Explorons la création de caractéristiques à partir de celles qui existent déjà. Dans le Midwest des États‑Unis, plusieurs maisons unifamiliales disposent de terrain supplémentaire servant d'espace vert. Dans cet exemple, vous allez créer une nouvelle caractéristique appelée 'YARD_SIZE', puis vérifier si cette nouvelle caractéristique est corrélée avec notre variable cible.

Cette activité fait partie du cours

Ingénierie des caractéristiques avec PySpark

Voir le cours

Instructions de l’exercice

Créez une nouvelle colonne avec withColumn() appelée LOT_SIZE_SQFT et convertissez ACRES en pieds carrés en multipliant par acres_to_sqfeet, le facteur de conversion.
Créez une autre nouvelle colonne appelée YARD_SIZE en soustrayant FOUNDATIONSIZE de LOT_SIZE_SQFT.
Exécutez corr() pour chacune des variables indépendantes YARD_SIZE, FOUNDATIONSIZE, LOT_SIZE_SQFT par rapport à la variable dépendante SALESCLOSEPRICE. La nouvelle caractéristique montre‑t‑elle une corrélation plus forte que chacune de ses composantes ?

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Lot size in square feet
acres_to_sqfeet = 43560
df = df.____(____, df[____] * ____)

# Create new column YARD_SIZE
df = df.____(____, df[____] - df[____])

# Corr of ACRES vs SALESCLOSEPRICE
print("Corr of ACRES vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE
print("Corr of FOUNDATIONSIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))
# Corr of YARD_SIZE vs SALESCLOSEPRICE
print("Corr of YARD_SIZE vs SALESCLOSEPRICE: " + str(df.____(____, ____)))

Modifier et exécuter le code