Erstellen einer SparkSession
Wir haben bereits eine SparkSession
für dich erstellt, die spark
heißt. Aber was ist, wenn du dir nicht sicher bist, ob es schon eine gibt? Wenn du mehrere SparkSession
s und SparkContext
s erstellst, kann das zu Problemen führen, daher ist es am besten, die Methode SparkSession.builder.getOrCreate()
zu verwenden. Diese Funktion gibt eine bestehende SparkSession
zurück, wenn es bereits eine in der Umgebung gibt, oder erstellt eine neue, falls nötig!
Diese Übung ist Teil des Kurses
Einführung in PySpark
Anleitung zur Übung
- Importiere
SparkSession
vonpyspark.sql
. - Erstelle eine neue
SparkSession
mit dem Namenmy_spark
unter Verwendung vonSparkSession.builder.getOrCreate()
. - Gib
my_spark
auf der Konsole aus, um zu überprüfen, ob es eineSparkSession
ist.
Interaktive Übung zum Anfassen
Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = ____
# Print my_spark
print(____)