Erstelle eine SQL-Tabelle aus einem DataFrame
Ein DataFrame kann verwendet werden, um eine temporäre Tabelle zu erstellen. Eine temporäre Tabelle existiert nach dem Ende der Session nicht mehr. In der Spark-Dokumentation wird dieser Tabellentyp auch als SQL temporary view bezeichnet. Dort spricht man davon, den DataFrame als SQL temporary view zu registrieren. Dieser Befehl wird direkt auf dem DataFrame aufgerufen und erstellt eine Tabelle, falls sie noch nicht existiert, oder ersetzt sie mit den aktuellen Daten aus dem DataFrame, falls sie bereits existiert.
Diese Übung ist Teil des Kurses
Einführung in Spark SQL mit Python
Anleitung zur Übung
- Lade CSV-Daten aus der Datei
trainsched.txtin einen DataFrame in der Variablendf. - Erstelle aus
dfeine temporäre Tabelle. Nenne die Tabelle „table1“.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Load trainsched.txt
df = spark.____.____("trainsched.txt", header=True)
# Create temporary table called table1
df.____(____)