Bắt đầu ngayBắt đầu miễn phí

Join (Phần II)

Trong PySpark, việc join được thực hiện bằng phương thức .join() của DataFrame. Phương thức này nhận ba đối số. Đối số đầu tiên là DataFrame thứ hai mà bạn muốn join với DataFrame thứ nhất. Đối số thứ hai, on, là tên cột (hoặc các cột) khóa dưới dạng chuỗi. Tên cột khóa phải giống nhau ở mỗi bảng. Đối số thứ ba, how, xác định kiểu join cần thực hiện. Trong khóa học này, chúng ta sẽ luôn dùng giá trị how="leftouter".

Bộ dữ liệu flights và một bộ dữ liệu mới tên airports đã có sẵn trong không gian làm việc của bạn.

Bài tập này là một phần của khóa học

Nền tảng về PySpark

Xem khóa học

Hướng dẫn bài tập

  • Khám phá DataFrame airports bằng cách gọi .show(). Ghi chú xem cột khóa nào sẽ cho phép bạn join airports với bảng flights.
  • Đổi tên cột faa trong airports thành dest bằng cách gán lại kết quả của airports.withColumnRenamed("faa", "dest") vào airports.
  • Join flights với DataFrame airports trên cột dest bằng cách gọi phương thức .join() trên flights. Lưu kết quả thành flights_with_airports.
    • Đối số đầu tiên phải là DataFrame còn lại, airports.
    • Đối số on phải là cột khóa.
    • Đối số how phải là "leftouter".
  • Gọi .show() trên flights_with_airports để xem lại dữ liệu. Ghi chú thông tin mới đã được thêm vào.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Examine the data
print(____)

# Rename the faa column
airports = ____

# Join the DataFrames
flights_with_airports = ____

# Examine the new DataFrame
print(____)
Chỉnh sửa và Chạy Mã