Créer une table SQL à partir d’un dataframe
Un dataframe peut être utilisé pour créer une table temporaire. Une table temporaire n’existe plus une fois la session terminée. La documentation Spark appelle aussi ce type de table une vue SQL temporaire. Dans la documentation, on parle de registrer le dataframe comme une vue SQL temporaire. Cette commande s’applique directement au dataframe ; elle crée la table si elle n’existe pas encore, ou la remplace par les données actuelles du dataframe si elle existe déjà.
Cet exercice fait partie du cours
Introduction à Spark SQL en Python
Instructions
- Chargez des données CSV depuis le fichier
trainsched.txtdans un dataframe stocké dans une variable nomméedf. - Créez une table temporaire à partir de
df. Nommez la table « table1 ».
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)
# Create temporary table called table1
df.____(____)