Interaktivní použití PySparku
Spark obsahuje interaktivní Python shell, ve kterém je PySpark již předinstalovaný. PySpark shell se hodí pro základní testování a ladění a je velmi výkonný. Nejlepší způsob, jak si ověřit sílu PySpark shellu, je přímo na příkladu. V tomto cvičení načteš do PySpark shellu jednoduchý seznam čísel od 1 do 100.
Nejdůležitější věc, kterou si tady zapamatuj: nemusíš vytvářet žádný objekt SparkContext – PySpark ho vytvoří automaticky a pojmenuje ho sc.
Toto cvičení je součástí kurzu
Big Data Fundamentals with PySpark
Pokyny k cvičení
- Vytvoř pythonový seznam s názvem
numb, který bude obsahovat čísla od 1 do 100. - Načti tento seznam do Sparku pomocí metody
parallelizeze SparkContextu a výsledek ulož do proměnnéspark_data.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)