Xác minh việc nạp dữ liệu
Giả sử mỗi tháng bạn nhận được một tệp mới. Bạn biết sẽ kỳ vọng một số lượng bản ghi và cột nhất định. Trong bài tập này, chúng ta sẽ tạo một hàm để xác thực tệp đã nạp.
Bài tập này là một phần của khóa học
Feature Engineering với PySpark
Hướng dẫn bài tập
- Tạo một hàm kiểm tra dữ liệu
check_load()với các tham số:dflà một dataframe,num_recordslà số bản ghi vànum_columnslà số cột. - Dùng
num_recordsđể kiểm tra xem dataframe đầu vàodfcó cùng số lượng vớicount()hay không. - So sánh số cột đầu vào mà dataframe có với
num_columnsbằng cách dùnglen()trêncolumns. - Nếu cả hai đều trả về
True, thì inValidation Passed
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def ____(____, ____, ____):
# Takes a dataframe and compares record and column counts to input
# Message to return if the critera below aren't met
message = 'Validation Failed'
# Check number of records
if num_records == df.____():
# Check number of columns
if num_columns == ____(df.____):
# Success message
message = ____
return message
# Print the data validation message
print(check_load(df, 5000, 74))