Inferera och filtrera
Tänk dig att du har ett folkräkningsdataset med en rubrikrad och ett schema. Nu ska vi läsa in det datasetet och låta PySpark inferera schemat. Vad ser du om du filtrerar på vuxna över 40 år?
Kom ihåg att det redan finns en SparkSession som heter spark i din arbetsmiljö!
Den här övningen är en del av kursen
Introduktion till PySpark
Övningsinstruktioner
- Läs in JSON-filen
adults.json. - Filtrera data så att bara vuxna över
age40inkluderas. - Visa resultaten.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Load the dataframe
census_df = spark.read.json("adults.json")
# Filter rows based on age condition
salary_filtered_census = census_df.____(census_df[____]____)
# Show the result
____