Utilizarea interactivă a PySpark

Spark vine cu un shell Python interactiv în care PySpark este deja instalat. Shell-ul PySpark este util pentru testare și depanare rapidă și este deosebit de puternic. Cel mai simplu mod de a demonstra puterea shell-ului PySpark este printr-un exercițiu practic. În acest exercițiu, vei încărca o listă simplă de numere de la 1 la 100 în shell-ul PySpark.

Cel mai important lucru de reținut este că nu creăm niciun obiect SparkContext explicit, deoarece PySpark creează automat obiectul SparkContext cu numele sc în shell-ul PySpark.

Acest exercițiu face parte din cursul

Fundamentele Big Data cu PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Creează o listă Python numită numb care conține numerele de la 1 la 100.
Încarcă lista în Spark folosind metoda parallelize a Spark Context și atribuie rezultatul variabilei spark_data.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create a Python list of numbers from 1 to 100 
numb = range(____, ____)

# Load the list into PySpark  
spark_data = sc.____(numb)

Editează și rulează codul