항공편과 도착 공항 조인하기
여러분은 글로벌 여행사의 데이터 엔지니어로 새로 합류했어요. 첫 번째 임무는 항공편 데이터를 분석해 운영을 개선하도록 돕는 것입니다. 작업 공간에는 두 개의 데이터셋이 있습니다. 하나는 항공편 세부 정보(flights), 다른 하나는 도착 공항 정보(airports)로, 둘 다 이미 작업 공간에 준비되어 있습니다.
목표는 무엇일까요? 두 데이터셋을 결합해 각 항공편을 해당 도착 공항과 연결하는 강력한 데이터셋을 만드는 것입니다.
이 연습은 강의의 일부입니다
PySpark 입문
연습 안내
airportsDataFrame을 살펴보세요.airports를flights테이블과 조인할 때 사용할 키 열이 무엇인지 확인하세요."dest"열을 기준으로flights와airportsDataFrame을 조인하세요. 결과를flights_with_airports로 저장하세요.flights_with_airports를 다시 살펴보고 어떤 정보가 새로 추가되었는지 확인하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Examine the data
airports.____()
# .withColumnRenamed() renames the "faa" column to "dest"
airports = airports.withColumnRenamed("faa", "dest")
# Join the DataFrames
flights_with_airports = ____
# Examine the new DataFrame
flights_with_airports.____