ÎncepețiÎncepe gratuit

Explorarea SparkContext-ului

În acest exercițiu vei face cunoștință cu SparkContext-ul.

Probabil vei observa că execuția codului durează mai mult decât te-ai aștepta. Asta se întâmplă pentru că Spark este un software complex și serios. Pornirea sa necesită mai mult timp decât ești obișnuit. S-ar putea, de asemenea, să observi că anumite calcule simple se execută mai lent decât te-ai fi așteptat. Motivul este că optimizările din spatele Spark sunt concepute pentru operații complexe pe seturi mari de date. Cu alte cuvinte, pentru probleme simple sau seturi mici de date, Spark poate fi chiar mai lent decât alte soluții!

Acest exercițiu face parte din cursul

Fundamente PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

Familiarizează-te cu SparkContext-ul.

  • Apelează print() pe sc pentru a verifica că există un SparkContext în mediul tău.
  • Folosește print() pe sc.version pentru a vedea ce versiune de Spark rulează pe clusterul tău.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Verify SparkContext
print(____)

# Print Spark version
print(____)
Editează și rulează codul