ตรวจสอบการโหลดข้อมูล
สมมติว่าทุกเดือนจะมีไฟล์ใหม่เข้ามา และคุณรู้ล่วงหน้าว่าควรมีจำนวนเรคคอร์ดและคอลัมน์เท่าใด ในแบบฝึกหัดนี้ เราจะสร้างฟังก์ชันสำหรับตรวจสอบความถูกต้องของไฟล์ที่โหลดเข้ามา
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Feature Engineering with PySpark
คำแนะนำการฝึกหัด
- สร้างฟังก์ชันตรวจสอบข้อมูล
check_load()โดยมีพารามิเตอร์ได้แก่dfสำหรับ DataFrame,num_recordsสำหรับจำนวนเรคคอร์ด และnum_columnsสำหรับจำนวนคอลัมน์ - ใช้
num_recordsเพื่อตรวจสอบว่า DataFramedfที่รับเข้ามามีจำนวนแถวตรงกันหรือไม่ โดยใช้count() - เปรียบเทียบจำนวนคอลัมน์ของ DataFrame ที่รับเข้ามากับ
num_columnsโดยใช้len()กับcolumns - หากทั้งสองเงื่อนไขคืนค่า
Trueให้พิมพ์Validation Passed
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def ____(____, ____, ____):
# Takes a dataframe and compares record and column counts to input
# Message to return if the critera below aren't met
message = 'Validation Failed'
# Check number of records
if num_records == df.____():
# Check number of columns
if num_columns == ____(df.____):
# Success message
message = ____
return message
# Print the data validation message
print(check_load(df, 5000, 74))