집계 II
내장 집계 메서드에 더 익숙해지도록, 이번에는 flights 테이블을 사용한 연습 문제를 더 준비했어요!
SparkSession 객체인 spark와 Spark DataFrame flights는 작업 공간에 이미 준비되어 있다는 점을 기억하세요.
이 연습은 강의의 일부입니다
PySpark 기초
연습 안내
.avg()메서드를 사용해 SEA에서 출발한 Delta Airlines 항공편(열carrier값이"DL")의 평균 비행 시간을 구하세요. 출발지는origin열에 저장되어 있어요. 결과를show()하세요..sum()메서드를 사용해,air_time열로부터duration_hrs라는 열을 만들어 이 데이터셋의 모든 항공기가 공중에 있었던 총 시간을 구하세요. 결과를show()하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Average duration of Delta flights
flights.filter(____.____ == "____").filter(____.____ == "____").groupBy().avg("____").show()
# Total hours in the air
flights.withColumn("____", flights.air_time/60).groupBy().sum("____").show()