Prozkoumání SparkContext
V tomto cvičení se seznámíš s SparkContext.
Pravděpodobně si všimneš, že kód běží déle, než bys čekal/a. Je to proto, že Spark je pořádně výkonný software – jeho spuštění trvá déle, než jsi možná zvyklý/á. Může se také stát, že i jednodušší výpočty zaberou více času. Důvod je jednoduchý: všechny optimalizace, které má Spark pod kapotou, jsou navržené pro složité operace s velkými datovými sadami. U jednoduchých nebo malých úloh proto může Spark fungovat pomaleji než jiná řešení!
Toto cvičení je součástí kurzu
Foundations of PySpark
Pokyny k cvičení
Prozkoumej SparkContext.
- Zavolej
print()nasca ověř, že seSparkContextnachází ve tvém prostředí. - Pomocí
print()vypišsc.versiona zjisti, jaká verze Sparku běží na tvém clusteru.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Verify SparkContext
print(____)
# Print Spark version
print(____)