Zacznij terazZacznij za darmo

Tworzenie kolumny typu Boolean

Modelujesz odpowiedź na pytanie „tak" lub „nie": czy lot się opóźnił? Twoje dane zawierają jednak opóźnienie przylotu w minutach dla każdego lotu. Musisz więc utworzyć kolumnę typu boolean, która wskaże, czy dany lot był opóźniony, czy nie.

To ćwiczenie jest częścią kursu

Podstawy PySpark

Zobacz kurs

Instrukcje do ćwiczenia

  • Użyj metody .withColumn(), aby utworzyć kolumnę is_late. Kolumna ta powinna być równa wyrażeniu model_data.arr_delay > 0.
  • Przekonwertuj tę kolumnę na kolumnę liczb całkowitych, aby móc jej użyć w modelu, i nadaj jej nazwę label (to domyślna nazwa zmiennej odpowiedzi w procedurach uczenia maszynowego Sparka).
  • Odfiltruj brakujące wartości (ten krok został już za ciebie wykonany).

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create is_late
model_data = model_data.withColumn("is_late", ____)

# Convert to an integer
model_data = model_data.withColumn("label", ____)

# Remove missing values
model_data = model_data.filter("arr_delay is not NULL and dep_delay is not NULL and air_time is not NULL and plane_year is not NULL")
Edytuj i uruchom kod