CommencezCommencez gratuitement

Interroger une vue temporaire

Dans cet exercice, vous allez vous exercer à enregistrer un DataFrame comme vue SQL temporaire dans PySpark. Les vues temporaires sont très utiles : elles vous permettent d'interroger les données avec la syntaxe SQL, ce qui rend les manipulations complexes plus simples et intuitives. Votre objectif est de créer une vue à partir d'un DataFrame fourni et d'exécuter des requêtes SQL dessus, une tâche courante en ETL et ELT.

Vous disposez déjà d'un SparkContext, spark, et d'un DataFrame PySpark, df, dans votre espace de travail.

Cette activité fait partie du cours

Introduction à PySpark

Voir le cours

Instructions de l’exercice

  • Enregistrez une nouvelle vue appelée "data_view" à partir du DataFrame df.
  • Exécutez la requête SQL fournie pour calculer le total des salaires par poste.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Register as a view
df.____("data_view")

# Advanced SQL query: Calculate total salary by Position
result = ____("""
    SELECT Position, SUM(Salary) AS Total_Salary
    FROM data_view
    GROUP BY Position
    ORDER BY Total_Salary DESC
    """
)
result.show()
Modifier et exécuter le code