Agregace II
Abys lépe poznal/a další zabudované agregační metody, čeká tě ještě pár cvičení s tabulkou flights!
Nezapomeň, že SparkSession s názvem spark je v tvém pracovním prostoru už připravená, stejně jako Spark DataFrame flights.
Toto cvičení je součástí kurzu
Foundations of PySpark
Pokyny k cvičení
- Pomocí metody
.avg()zjisti průměrnou dobu letu pro lety společnosti Delta Airlines (kde sloupeccarriermá hodnotu"DL"), které odlétaly ze SEA. Místo odletu je uloženo ve sloupciorigin. Výsledek zobraz pomocíshow(). - Pomocí metody
.sum()spočítej celkový počet hodin, které všechna letadla v tomto datasetu strávila ve vzduchu – vytvoř k tomu sloupecduration_hrsze sloupceair_time. Výsledek zobraz pomocíshow().
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()
# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()