1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Foundations of PySpark
Connected

Cvičení

Prozkoumání SparkContext

V tomto cvičení se seznámíš s SparkContext.

Pravděpodobně si všimneš, že kód běží déle, než bys čekal/a. Je to proto, že Spark je pořádně výkonný software – jeho spuštění trvá déle, než jsi možná zvyklý/á. Může se také stát, že i jednodušší výpočty zaberou více času. Důvod je jednoduchý: všechny optimalizace, které má Spark pod kapotou, jsou navržené pro složité operace s velkými datovými sadami. U jednoduchých nebo malých úloh proto může Spark fungovat pomaleji než jiná řešení!

Pokyny

100 XP

Prozkoumej SparkContext.

  • Zavolej print() na sc a ověř, že se SparkContext nachází ve tvém prostředí.
  • Pomocí print() vypiš sc.version a zjisti, jaká verze Sparku běží na tvém clusteru.