Вывод схемы и фильтрация
Представьте, что у вас есть набор данных переписи населения с заголовком и схемой. Загрузим этот набор данных и позволим PySpark автоматически определить схему. Что получится, если отфильтровать взрослых старше 40 лет?
Напомним: в вашем рабочем пространстве уже создана SparkSession с именем spark!
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Загрузите JSON-файл
adults.json. - Отфильтруйте данные, оставив только взрослых старше
40лет по столбцуage. - Выведите результаты на экран.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Load the dataframe
census_df = spark.read.json("adults.json")
# Filter rows based on age condition
salary_filtered_census = census_df.____(census_df[____]____)
# Show the result
____