Poznajemy SparkContext

SparkContext to punkt wejścia do funkcji Sparka – można go porównać do kluczyka do samochodu. Gdy uruchamiasz aplikację Spark, startuje program sterujący (driver), który zawiera funkcję główną i w którym inicjowany jest SparkContext. PySpark automatycznie tworzy dla ciebie obiekt SparkContext w powłoce PySpark (nie musisz robić tego samodzielnie) – jest on dostępny pod zmienną sc.

W tym ćwiczeniu przyjrzysz się atrybutom SparkContext dostępnego w powłoce PySpark, z którego będziesz korzystać przez cały kurs.

Wyświetl wersję SparkContext w powłoce PySpark.
Wyświetl wersję Pythona używaną przez SparkContext w powłoce PySpark.
Sprawdź, jaki jest master SparkContext w powłoce PySpark.

övning

Poznajemy SparkContext

Instruktioner

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}övning

Instruktioner

övning