Vytvoření booleovského sloupce
Představ si, že modeluješ otázku ano/ne: mělo letadlo zpoždění? Tvoje data ale obsahují zpoždění příletů v minutách. Budeš proto muset vytvořit booleovský sloupec, který označí, zda měl daný let zpoždění, nebo ne.
Toto cvičení je součástí kurzu
Foundations of PySpark
Pokyny k cvičení
- Pomocí metody
.withColumn()vytvoř sloupecis_late. Tento sloupec se rovná výrazumodel_data.arr_delay > 0. - Převeď tento sloupec na celé číslo, abys ho mohl/a použít v modelu, a pojmenuj ho
label(to je výchozí název pro cílovou proměnnou ve Sparku pro strojové učení). - Odfiltruj chybějící hodnoty (tato část je již hotová).
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create is_late
model_data = model_data.withColumn("is_late", ____)
# Convert to an integer
model_data = model_data.withColumn("label", ____)
# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")