Del 2: SQL-frågor på en DataFrame
DataFrame:en fifa_df som vi skapade innehåller ytterligare information om datatyper och kolumnnamn. Den informationen gör det möjligt för PySpark SQL att köra SQL-frågor på en DataFrame. SQL-frågor är kortfattade och enkla att köra jämfört med DataFrame-operationer. För att kunna använda SQL-frågor på en DataFrame behöver du dock först skapa en temporär vy av DataFrame som en tabell och sedan köra SQL-frågor mot den tabellen (köra SQL-frågor programmatiskt).
I den andra delen skapar du en temporär tabell av DataFrame:en fifa_df och kör SQL-frågor för att extrahera kolumnen 'Age' för spelare från Tyskland.
Du har redan ett SparkContext spark och fifa_df tillgängliga i din arbetsyta.
Den här övningen är en del av kursen
Grunderna i Big Data med PySpark
Övningsinstruktioner
- Skapa den temporära tabellen
fifa_df_tablefrån DataFrame:enfifa_df. - Konstruera en "query" för att extrahera kolumnen "Age" för spelare från Tyskland i
fifa_df_table. - Kör SQL-"query":n och skapa en ny DataFrame
fifa_df_germany_age. - Beräkna grundläggande statistik för den skapade DataFrame:en.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')
# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''
# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)
# Generate basic statistics
fifa_df_germany_age.____().show()