Erstellen einer SparkSession
Wir haben bereits eine SparkSession für dich erstellt, die spark heißt. Aber was ist, wenn du dir nicht sicher bist, ob es schon eine gibt? Wenn du mehrere SparkSessions und SparkContexts erstellst, kann das zu Problemen führen, daher ist es am besten, die Methode SparkSession.builder.getOrCreate() zu verwenden. Diese Funktion gibt eine bestehende SparkSession zurück, wenn es bereits eine in der Umgebung gibt, oder erstellt eine neue, falls nötig!
Diese Übung ist Teil des Kurses
Einführung in PySpark
Anleitung zur Übung
- Importiere
SparkSessionvonpyspark.sql. - Erstelle eine neue
SparkSessionmit dem Namenmy_sparkunter Verwendung vonSparkSession.builder.getOrCreate(). - Gib
my_sparkauf der Konsole aus, um zu überprüfen, ob es eineSparkSessionist.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)