Tekst extraheren naar nieuwe features

Garages zijn een belangrijke factor voor huizen in Minnesota, waar de meeste mensen een auto hebben en het vervelend is om sneeuw van een auto buiten te vegen. Het type garage is ook belangrijk: kun je bij je auto komen zonder de kou te trotseren of niet? Laten we een feature has_attached_garage maken die vastlegt of de garage aan het huis vastzit of niet.

Deze oefening maakt deel uit van de cursus

Feature Engineering met PySpark

Bekijk cursus

Oefeninstructies

Importeer de benodigde functie when() uit pyspark.sql.functions.
Maak een stringmatch-voorwaarde met like() om te zoeken naar het patroon Attached Garage in df['GARAGEDESCRIPTION'] en gebruik wildcards % zodat het overal in het veld kan matchen.
Maak op dezelfde manier een tweede voorwaarde met like() om het patroon Detached Garage in df['GARAGEDESCRIPTION'] te vinden en gebruik wildcards % zodat het overal in het veld kan matchen.
Maak een nieuwe kolom has_attached_garage met when() om de waarde 1 toe te kennen als er een attached garage is, 0 als deze detached is, en gebruik otherwise() om null toe te kennen met None als het geen van beide is.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Import needed functions
____ ____ ____ ____

# Create boolean conditions for string matches
has_attached_garage = df[____].____(____)
has_detached_garage = df[____].____(____)

# Conditional value assignment 
df = df.withColumn(____, (____(____, 1)
                                          .____(____, 0)
                                          .____(____)))

# Inspect results
df[['GARAGEDESCRIPTION', 'has_attached_garage']].show(truncate=100)

Code bewerken en uitvoeren