Łączenie lotów z lotniskami docelowymi
Właśnie zostałeś zatrudniony jako inżynier danych w globalnej firmie turystycznej. Twoje pierwsze zadanie polega na usprawnieniu operacji firmy poprzez analizę danych o lotach. W przestrzeni roboczej masz do dyspozycji dwa zbiory danych: jeden zawierający szczegóły dotyczące lotów (flights) oraz drugi z informacjami o lotniskach docelowych (airports) – oba są już dostępne.
Twój cel? Połącz te zbiory danych, aby stworzyć rozbudowany zbiór łączący każdy lot z odpowiadającym mu lotniskiem docelowym.
To ćwiczenie jest częścią kursu
Wprowadzenie do PySpark
Instrukcje do ćwiczenia
- Zbadaj DataFrame
airports. Zwróć uwagę, która kolumna kluczowa pozwoli ci połączyćairportsz tabeląflights. - Połącz
flightsz DataFrameairportspo kolumnie"dest". Zapisz wynik jakoflights_with_airports. - Zbadaj ponownie
flights_with_airports. Zwróć uwagę na nowe informacje, które zostały dodane.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Examine the data
airports.____()
# .withColumnRenamed() renames the "faa" column to "dest"
airports = airports.withColumnRenamed("faa", "dest")
# Join the DataFrames
flights_with_airports = ____
# Examine the new DataFrame
flights_with_airports.____