Spoj DataFrames
V následujících dvou kapitolách budeš budovat model, který předpovídá, jestli let bude zpožděný nebo ne – a to na základě dat o letech, se kterými jsme dosud pracovali. Model bude zahrnovat i informace o letadle, které danou trasu letělo. Prvním krokem je proto spojení dvou tabulek: flights a planes!
Toto cvičení je součástí kurzu
Foundations of PySpark
Pokyny k cvičení
- Nejprve přejmenuj sloupec
yearv tabulceplanesnaplane_year, aby nedošlo ke konfliktům s duplicitními názvy sloupců. - Vytvoř nový DataFrame s názvem
model_dataspojením tabulkyflightss tabulkouplanespomocí sloupcetailnumjako klíče.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Rename year column
planes = planes.withColumnRenamed(____)
# Join the DataFrames
model_data = flights.join(____, on=____, how="leftouter")