Łączenie DataFrame'ów
W kolejnych dwóch rozdziałach zbudujesz model, który przewiduje, czy lot zostanie opóźniony – na podstawie danych o lotach, z którymi pracowałeś/-aś do tej pory. Model uwzględni również informacje o samolocie obsługującym daną trasę, dlatego pierwszym krokiem jest połączenie dwóch tabel: flights i planes!
To ćwiczenie jest częścią kursu
Podstawy PySpark
Instrukcje do ćwiczenia
- Najpierw zmień nazwę kolumny
yearw tabeliplanesnaplane_year, aby uniknąć duplikowania nazw kolumn. - Utwórz nowy DataFrame o nazwie
model_data, łącząc tabelęflightsz tabeląplanesprzy użyciu kolumnytailnumjako klucza.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Rename year column
planes = planes.withColumnRenamed(____)
# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")