Analys med SQL på DataFrames
SQL-frågor är kortfattade och enkla att köra jämfört med DataFrame-operationer. För att kunna använda SQL-frågor på en DataFrame behöver du först skapa en temporär vy av DataFrame som en tabell och sedan köra SQL-frågorna mot den tabellen.
Du har redan ett SparkContext spark och salaries_df tillgängliga i din arbetsyta.
Den här övningen är en del av kursen
Introduktion till PySpark
Övningsinstruktioner
- Skapa den temporära tabellen
"salaries_table"från DataFrame:nsalaries_df. - Konstruera en fråga som hämtar kolumnen "job_title" för poster där
company_locationär Kanada ("CA"). - Kör SQL-frågan och skapa en ny DataFrame med namnet
canada_titles. - Hämta en sammanfattning av tabellen.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a temporary view of salaries_table
salaries_df.____('salaries_table')
# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''
# Apply the SQL "query"
canada_titles = spark.____(____)
# Generate basic statistics
canada_titles.____().show()