DataFrames verwenden

Die Hauptdatenstruktur von Spark ist das Resilient Distributed Dataset (RDD). Dies ist ein Low-Level-Objekt, das es Spark ermöglicht, seine Magie zu entfalten, indem es die Daten auf mehrere Knoten im Cluster verteilt. RDDs sind aber echt kompliziert, direkt damit zu arbeiten. Deshalb wirst du in diesem Kurs die Spark DataFrame-Abstraktion nutzen, die auf RDDs basiert.

Das Spark DataFrame wurde so gemacht, dass es sich ähnlich wie eine SQL-Tabelle verhält (eine Tabelle mit Variablen in den Spalten und Beobachtungen in den Zeilen). Sie sind nicht nur leichter zu verstehen, sondern DataFrames sind auch besser für komplizierte Operationen optimiert als s.

Wenn man anfängt, Spalten und Zeilen von Daten zu verändern und zu kombinieren, gibt es viele Wege, um zum gleichen Ergebnis zu kommen, aber einige dauern oft viel länger als andere. Bei der Verwendung von s muss der Data Scientist herausfinden, wie er die Abfrage optimieren kann, aber die DataFrame-Implementierung hat einen Großteil dieser Optimierung bereits integriert!

Um mit Spark DataFrames arbeiten zu können, musst du zunächst ein SparkSession-Objekt aus deinem SparkContext erstellen. Du kannst dir den SparkContext als deine Verbindung zum Cluster vorstellen und die SparkSession als deine Schnittstelle zu dieser Verbindung.

Vergiss nicht, dass du für den Rest des Kurses eine SparkSession mit dem Namen spark in deinem Arbeitsbereich zur Verfügung haben wirst!

Welcher der folgenden Punkte ist ein Vorteil von Spark DataFrames gegenüber RDDs?