เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

ตรวจสอบการโหลดข้อมูล

สมมติว่าทุกเดือนจะมีไฟล์ใหม่เข้ามา และคุณรู้ล่วงหน้าว่าควรมีจำนวนเรคคอร์ดและคอลัมน์เท่าใด ในแบบฝึกหัดนี้ เราจะสร้างฟังก์ชันสำหรับตรวจสอบความถูกต้องของไฟล์ที่โหลดเข้ามา

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Feature Engineering with PySpark

ดูคอร์ส

คำแนะนำการฝึกหัด

  • สร้างฟังก์ชันตรวจสอบข้อมูล check_load() โดยมีพารามิเตอร์ได้แก่ df สำหรับ DataFrame, num_records สำหรับจำนวนเรคคอร์ด และ num_columns สำหรับจำนวนคอลัมน์
  • ใช้ num_records เพื่อตรวจสอบว่า DataFrame df ที่รับเข้ามามีจำนวนแถวตรงกันหรือไม่ โดยใช้ count()
  • เปรียบเทียบจำนวนคอลัมน์ของ DataFrame ที่รับเข้ามากับ num_columns โดยใช้ len() กับ columns
  • หากทั้งสองเงื่อนไขคืนค่า True ให้พิมพ์ Validation Passed

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))
แก้ไขและรันโค้ด