Bắt đầu ngayBắt đầu miễn phí

Xác minh việc nạp dữ liệu

Giả sử mỗi tháng bạn nhận được một tệp mới. Bạn biết sẽ kỳ vọng một số lượng bản ghi và cột nhất định. Trong bài tập này, chúng ta sẽ tạo một hàm để xác thực tệp đã nạp.

Bài tập này là một phần của khóa học

Feature Engineering với PySpark

Xem khóa học

Hướng dẫn bài tập

  • Tạo một hàm kiểm tra dữ liệu check_load() với các tham số: df là một dataframe, num_records là số bản ghi và num_columns là số cột.
  • Dùng num_records để kiểm tra xem dataframe đầu vào df có cùng số lượng với count() hay không.
  • So sánh số cột đầu vào mà dataframe có với num_columns bằng cách dùng len() trên columns.
  • Nếu cả hai đều trả về True, thì in Validation Passed

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))
Chỉnh sửa và Chạy Mã