Korzystanie z DataFrames

Podstawową strukturą danych w Sparku jest odporny rozproszony zbiór danych (RDD – Resilient Distributed Dataset). To niskopoziomowy obiekt, który umożliwia Sparkowi rozdzielanie danych między wiele węzłów klastra. Praca bezpośrednio z RDD jest jednak trudna, dlatego w tym kursie będziesz korzystać z abstrakcji Spark DataFrame, zbudowanej właśnie na ich bazie.

Spark DataFrame zaprojektowano tak, by zachowywał się podobnie do tabeli SQL (tabeli ze zmiennymi w kolumnach i obserwacjami w wierszach). DataFrames są nie tylko łatwiejsze do zrozumienia – są też lepiej zoptymalizowane do złożonych operacji niż RDD.

Kiedy zaczynasz modyfikować i łączyć kolumny oraz wiersze danych, istnieje wiele sposobów na osiągnięcie tego samego wyniku – jednak niektóre z nich są znacznie wolniejsze. W przypadku RDD to analityk danych musi samodzielnie zadbać o optymalizację zapytania. Implementacja DataFrame ma natomiast wiele takich optymalizacji wbudowanych!

Aby zacząć pracować ze Spark DataFrames, musisz najpierw utworzyć obiekt SparkSession na podstawie swojego SparkContext. Możesz myśleć o SparkContext jak o połączeniu z klastrem, a o SparkSession jak o interfejsie do tego połączenia.

Pamiętaj, że przez cały czas trwania kursu będziesz mieć dostęp do obiektu SparkSession o nazwie spark w swoim obszarze roboczym!

Która z poniższych opcji to zaleta Spark DataFrames w porównaniu z RDD?