Exécuter des requêtes SQL par programmation
Les DataFrames peuvent être facilement manipulés à l'aide de requêtes SQL dans PySpark. La fonction sql() d'un SparkSession permet d'exécuter des requêtes SQL par programmation et retourne le résultat sous forme d'un autre DataFrame. Dans cet exercice, vous allez créer une table temporaire à partir du DataFrame que vous avez déjà créé, puis formuler une requête pour sélectionner les noms des personnes de cette table temporaire et affecter le résultat à un nouveau DataFrame.
N'oubliez pas : vous avez déjà une SparkSession spark et un DataFrame dans votre espace de travail.
Cette activité fait partie du cours
Principes de Big Data avec PySpark
Instructions de l’exercice
- Créez une table temporaire
people. - Construisez une
querypour sélectionner les noms des personnes depuis la table temporairepeople. - Affectez le résultat de la
queryde Spark à un nouveau DataFrame —people_df_names. - Affichez les 10 premiers noms des personnes du DataFrame
people_df_names.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create a temporary table "people"
people_df.____("people")
# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)