Filtrera din DataFrame

I föregående övning filtrerade du data kolumnvis med operatorn select(). Men vad gör du om du vill filtrera DataFrame baserat på ett villkor – till exempel välja alla rader där kön är kvinna? I den här övningen filtrerar du rader i DataFrame:n people_df utifrån om värdet i kolumnen 'sex' är female respektive male, och skapar två separata datamängder. Slutligen räknar du antalet rader i varje datamängd.

Kom ihåg att du redan har en SparkSession spark och en DataFrame people_df tillgängliga i din arbetsyta.

Den här övningen är en del av kursen

Grunderna i Big Data med PySpark

Visa kurs

Övningsinstruktioner

Filtrera DataFrame:n people_df för att välja alla rader där sex är female och spara resultatet i DataFrame:n people_df_female.
Filtrera DataFrame:n people_df för att välja alla rader där sex är male och spara resultatet i DataFrame:n people_df_male.
Räkna antalet rader i DataFrame:erna people_df_female och people_df_male.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Filter people_df to select females 
people_df_female = people_df.____(people_df.____ == "female")

# Filter people_df to select males
people_df_male = people_df.____(____ == "____")

# Count the number of rows 
print("There are {} rows in the people_df_female DataFrame and {} rows in the people_df_male DataFrame".format(people_df_female.____(), people_df_male.____()))

Redigera och kör kod