Aggregering II
Här är några fler övningar med tabellen flights så att du får bekanta dig med fler inbyggda aggregeringsmetoder!
Kom ihåg att en SparkSession kallad spark redan finns i din arbetsmiljö, tillsammans med Spark-DataFrame:n flights.
Den här övningen är en del av kursen
Grunderna i PySpark
Övningsinstruktioner
- Använd metoden
.avg()för att beräkna den genomsnittliga flygtiden för Delta Airlines-flygningar (där kolumnencarrierhar värdet"DL") som avgick från SEA. Avgångsorten lagras i kolumnenorigin. Visa resultatet medshow(). - Använd metoden
.sum()för att beräkna det totala antalet timmar som alla plan i datamängden tillbringade i luften. Skapa en kolumn kalladduration_hrsfrån kolumnenair_time. Visa resultatet medshow().
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()
# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()