Skapa ett booleskt värde
Tänk dig att du modellerar en ja- eller nej-fråga: är flyget försenat? Din data innehåller dock ankomstfördröjningen i minuter för varje flyg. Du behöver därför skapa en boolesk kolumn som anger om flyget var försenat eller inte.
Den här övningen är en del av kursen
Grunderna i PySpark
Övningsinstruktioner
- Använd metoden
.withColumn()för att skapa kolumnenis_late. Den här kolumnen ska vara lika medmodel_data.arr_delay > 0. - Konvertera kolumnen till en heltalskolumn så att du kan använda den i din modell, och ge den namnet
label(detta är standardnamnet för responsvariabeln i Sparks maskininlärningsrutiner). - Filtrera bort saknade värden (detta är redan gjort åt dig).
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")