Перевірка завантаження даних

Припустімо, щомісяця ви отримуєте новий файл. Ви очікуєте певну кількість записів і стовпців. У цій вправі ми створимо функцію, яка перевірятиме завантажений файл.

Ця вправа є частиною курсу

Опрацювання ознак у PySpark

Переглянути курс

Інструкції до вправи

Створіть функцію перевірки даних check_load() з параметрами: df — датафрейм, num_records — кількість записів і num_columns — кількість стовпців.
За допомогою num_records додайте перевірку, чи має вхідний датафрейм df таку саму кількість рядків, як count().
Порівняйте кількість стовпців у вхідному датафреймі з num_columns, використавши len() для columns.
Якщо обидві перевірки повертають True, виведіть Validation Passed

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

def ____(____, ____, ____):
  # Takes a dataframe and compares record and column counts to input
  # Message to return if the critera below aren't met
  message = 'Validation Failed'
  # Check number of records
  if num_records == df.____():
    # Check number of columns
    if num_columns == ____(df.____):
      # Success message
      message = ____
  return message

# Print the data validation message
print(check_load(df, 5000, 74))

Редагувати та запускати код