Créer une table SQL à partir d'un dataframe
Un dataframe peut servir à créer une table temporaire. Une table temporaire n'existe plus lorsque la session se termine. La documentation de Spark appelle aussi ce type de table une vue SQL temporaire. Dans la documentation, on parle de consigner le dataframe comme vue SQL temporaire. Cette commande est appelée directement sur le dataframe ; elle crée la table si elle n'existe pas déjà, ou la remplace par les données actuelles du dataframe si elle existe.
Cette activité fait partie du cours
Introduction à Spark SQL en Python
Instructions de l’exercice
- Chargez les données CSV du fichier
trainsched.txtdans un dataframe stocké dans une variable nomméedf. - Créez une table temporaire à partir de
df. Nommez la table « table1 ».
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)
# Create temporary table called table1
df.____(____)