1. Learn
  2. /
  3. Курси
  4. /
  5. Очищення даних у PySpark

Connected

Вправа

Перевірка некоректних рядків

Ви успішно відфільтрували рядки за допомогою об'єднання, але інколи потрібно переглянути дані, які є некоректними. Такі дані можна зберегти для подальшої обробки або для діагностики джерел даних.

Вам потрібно знайти різницю між двома датафреймами та зберегти некоректні рядки.

Об'єкт spark визначено, а pyspark.sql.functions імпортовано як F. Початковий датафрейм split_df і об'єднаний датафрейм joined_df доступні у своїх попередніх станах.

Інструкції

100 XP
  • Визначте кількість рядків для кожного датафрейму.
  • Створіть датафрейм, що міститиме лише некоректні рядки.
  • Переконайтеся, що кількість рядків у новому датафреймі відповідає очікуванню.
  • Визначте кількість унікальних рядків із папками, які було вилучено.