Interaktywne używanie PySpark
Spark jest wyposażony w interaktywną powłokę Pythona, w której PySpark jest już zainstalowany. Powłoka PySpark przydaje się do podstawowego testowania i debugowania, a jej możliwości są naprawdę imponujące. Najlepszym sposobem na pokazanie jej siły jest praktyczne ćwiczenie. W tym ćwiczeniu załadujesz prostą listę zawierającą liczby od 1 do 100 w powłoce PySpark.
Najważniejsza rzecz do zapamiętania: nie musisz tutaj ręcznie tworzyć obiektu SparkContext, ponieważ PySpark automatycznie tworzy go pod nazwą sc w swojej powłoce.
To ćwiczenie jest częścią kursu
Podstawy Big Data z PySpark
Instrukcje do ćwiczenia
- Utwórz listę Pythona o nazwie
numb, zawierającą liczby od 1 do 100. - Załaduj tę listę do Sparka za pomocą metody
parallelizeobiektu SparkContext i przypisz wynik do zmiennejspark_data.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)