Filtrování DataFrame

V předchozím cvičení jsi pomocí operátoru select() vybíral/a podmnožinu dat po sloupcích. Co ale dělat, když chceš vybrat řádky na základě podmínky (například všechny řádky, kde je pohlaví ženské)? V tomto cvičení vyfiltrujeme z DataFrame people_df řádky, kde je hodnota 'sex' female nebo male, a vytvoříme dva samostatné datasety. Na závěr spočítáš, kolik řádků každý z nich obsahuje.

Máš k dispozici SparkSession spark a DataFrame people_df ve svém pracovním prostředí.

Toto cvičení je součástí kurzu

Big Data Fundamentals with PySpark

Zobrazit kurz

Pokyny k cvičení

Filtruj DataFrame people_df tak, aby obsahoval pouze řádky, kde je pohlaví female, a ulož výsledek do DataFrame people_df_female.
Filtruj DataFrame people_df tak, aby obsahoval pouze řádky, kde je pohlaví male, a ulož výsledek do DataFrame people_df_male.
Spočítej počet řádků v DataFramech people_df_female a people_df_male.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Filter people_df to select females 
people_df_female = people_df.____(people_df.____ == "female")

# Filter people_df to select males
people_df_male = people_df.____(____ == "____")

# Count the number of rows 
print("There are {} rows in the people_df_female DataFrame and {} rows in the people_df_male DataFrame".format(people_df_female.____(), people_df_male.____()))

Upravit a spustit kód