1. Nauka
    2. /
  2. Kursy
    3. /
  3. Podstawy PySpark
Connected

ćwiczenie

Poznaj SparkContext

W tym ćwiczeniu zapoznasz się z SparkContext.

Pewnie zauważysz, że kod wykonuje się wolniej, niż można by się spodziewać. Wynika to z tego, że Spark to potężne narzędzie – jego uruchomienie zajmuje więcej czasu niż większość programów, do których możesz być przyzwyczajony. Proste obliczenia też mogą trwać dłużej niż oczekujesz. To dlatego, że wszystkie optymalizacje wbudowane w Sparka są zaprojektowane z myślą o złożonych operacjach na dużych zbiorach danych. Oznacza to, że przy prostych lub małych zadaniach Spark może być wolniejszy od innych rozwiązań!

Instrukcje

100 XP

Zapoznaj się z SparkContext.

  • Wywołaj print() na sc, aby sprawdzić, czy w twoim środowisku istnieje SparkContext.
  • Użyj print() na sc.version, aby zobaczyć, jaka wersja Sparka działa na twoim klastrze.