Interaktywne używanie PySpark

Spark jest wyposażony w interaktywną powłokę Pythona, w której PySpark jest już zainstalowany. Powłoka PySpark przydaje się do podstawowego testowania i debugowania, a jej możliwości są naprawdę imponujące. Najlepszym sposobem na pokazanie jej siły jest praktyczne ćwiczenie. W tym ćwiczeniu załadujesz prostą listę zawierającą liczby od 1 do 100 w powłoce PySpark.

Najważniejsza rzecz do zapamiętania: nie musisz tutaj ręcznie tworzyć obiektu SparkContext, ponieważ PySpark automatycznie tworzy go pod nazwą sc w swojej powłoce.

Utwórz listę Pythona o nazwie numb, zawierającą liczby od 1 do 100.
Załaduj tę listę do Sparka za pomocą metody parallelize obiektu SparkContext i przypisz wynik do zmiennej spark_data.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}ćwiczenie

Instrukcje

ćwiczenie