Dag van de week binariseren

In een eerdere video zagen we dat het erg onwaarschijnlijk is dat een huis in het weekend te koop wordt gezet. Laten we een nieuw veld maken dat aangeeft of het huis doordeweeks of in het weekend wordt aangeboden. In dit voorbeeld is er een veld List_Day_of_Week waarin maandag 1,0 is en zondag 7,0. Laten we dit omzetten naar een binair veld met doordeweeks als 0 en weekend als 1. We kunnen hiervoor de PySpark feature transformer Binarizer gebruiken.

Deze oefening maakt deel uit van de cursus

Feature Engineering met PySpark

Bekijk cursus

Oefeninstructies

Importeer de feature transformer Binarizer uit pyspark en de module ml.feature.
Maak de transformer met Binarizer() met de drempel om de waarde op 1 te zetten als alles na vrijdag, 5,0; stel daarna de inputkolom in als List_Day_of_Week en de outputkolom als Listed_On_Weekend.
Pas de binarizer-transformatie toe op df met transform().
Controleer of de transformatie correct werkte door de kolommen List_Day_of_Week en Listed_On_Weekend te selecteren met show().

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Import transformer
from pyspark.____.____ import ____

# Create the transformer
binarizer = ____(threshold=____ inputCol=____, outputCol=____)

# Apply the transformation to df
df = binarizer.____(____)

# Verify transformation
df[[____, ____]].____()

Code bewerken en uitvoeren