Köra SQL-frågor programmatiskt
DataFrames kan enkelt bearbetas med SQL-frågor i PySpark. Funktionen sql() i en SparkSession gör det möjligt att köra SQL-frågor programmatiskt och returnerar resultatet som en ny DataFrame. I den här övningen skapar du en temporär tabell av den DataFrame du tidigare har skapat, konstruerar sedan en fråga för att välja namnen på personerna från den temporära tabellen och tilldelar resultatet till en ny DataFrame.
Kom ihåg att du redan har en SparkSession spark och en DataFrame tillgänglig i din arbetsmiljö.
Den här övningen är en del av kursen
Grunderna i Big Data med PySpark
Övningsinstruktioner
- Skapa en temporär tabell med namnet
people. - Konstruera en
queryför att välja namnen på personerna från den temporära tabellenpeople. - Tilldela resultatet av Sparks
querytill en ny DataFrame –people_df_names. - Skriv ut de 10 översta namnen från DataFramen
people_df_names.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a temporary table "people"
people_df.____("people")
# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)