Фильтрация DataFrame

В предыдущем упражнении вы выбирали данные с помощью оператора select(), который используется для извлечения определённых столбцов из DataFrame. Но что если нужно отфильтровать строки по условию — например, выбрать только те, где указан женский пол? В этом упражнении вы отфильтруете строки DataFrame people_df по значению столбца «sex» (female и male) и создадите два отдельных набора данных. Затем вы подсчитаете количество строк в каждом из них.

Напомним, что SparkSession spark и DataFrame people_df уже доступны в вашем рабочем пространстве.

Это упражнение является частью курса

Основы Big Data с PySpark

Посмотреть курс

Инструкции к упражнению

Отфильтруйте DataFrame people_df, выбрав все строки, где sex равно female, и сохраните результат в DataFrame people_df_female.
Отфильтруйте DataFrame people_df, выбрав все строки, где sex равно male, и сохраните результат в DataFrame people_df_male.
Подсчитайте количество строк в DataFrame people_df_female и people_df_male.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Filter people_df to select females 
people_df_female = people_df.____(people_df.____ == "female")

# Filter people_df to select males
people_df_male = people_df.____(____ == "____")

# Count the number of rows 
print("There are {} rows in the people_df_female DataFrame and {} rows in the people_df_male DataFrame".format(people_df_female.____(), people_df_male.____()))

Редактировать и запускать код