Köra SQL på DataFrames
DataFrames kan enkelt manipuleras med SQL-frågor i PySpark. Metoden .sql() i en SparkSession gör det möjligt att köra SQL-frågor programmatiskt och returnerar resultatet som en ny DataFrame. I den här övningen skapar du en temporär tabell från en DataFrame som du har skapat tidigare, bygger sedan en fråga för att välja namnen på personerna från den temporära tabellen och tilldelar resultatet till en ny DataFrame.
Kom ihåg att du redan har en SparkSession spark och en DataFrame df tillgängliga i din arbetsyta.
Den här övningen är en del av kursen
Introduktion till PySpark
Övningsinstruktioner
- Skapa en temporär tabell med namnet
"people"från DataFrame:ndf. - Bygg en fråga för att välja namnen på personerna från den temporära tabellen
people. - Tilldela resultatet av Sparks fråga till en ny DataFrame kallad
people_df_names. - Skriv ut de 10 första namnen från DataFrame:n
people_df_names.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a temporary table "people"
df.____("people")
# Select the names from the temporary table people
query = """SELECT name FROM ____"""
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)