1. Learn
    2. /
  2. Курси
    3. /
  3. Опрацювання ознак у PySpark
Connected

Вправа

Перевірка завантаження даних

Припустімо, щомісяця ви отримуєте новий файл. Ви очікуєте певну кількість записів і стовпців. У цій вправі ми створимо функцію, яка перевірятиме завантажений файл.

Інструкції

100 XP
  • Створіть функцію перевірки даних check_load() з параметрами: df — датафрейм, num_records — кількість записів і num_columns — кількість стовпців.
  • За допомогою num_records додайте перевірку, чи має вхідний датафрейм df таку саму кількість рядків, як count().
  • Порівняйте кількість стовпців у вхідному датафреймі з num_columns, використавши len() для columns.
  • Якщо обидві перевірки повертають True, виведіть Validation Passed