Sammanfoga DataFrames
I de kommande två kapitlen bygger du en modell som förutsäger om ett flyg kommer att försenas, baserat på de flygdata vi arbetat med. Modellen kommer även att inkludera information om det plan som flög rutten, så det första steget är att sammanfoga de två tabellerna: flights och planes!
Den här övningen är en del av kursen
Grunderna i PySpark
Övningsinstruktioner
- Byt först namn på kolumnen
yeariplanestillplane_yearför att undvika dubbletter i kolumnnamnen. - Skapa en ny DataFrame med namnet
model_datagenom att sammanfoga tabellenflightsmedplanesoch använda kolumnentailnumsom nyckel.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Rename year column
planes = planes.withColumnRenamed(____)
# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")