Kom igångKom igång gratis

Utforska SparkContext

I den här övningen får du bekanta dig med SparkContext.

Du kommer förmodligen att märka att koden tar längre tid att köra än väntat. Det beror på att Spark är ett kraftfullt verktyg som tar längre tid att starta upp än vad du kanske är van vid. Du kan även märka att enkla beräkningar tar mer tid än förväntat. Det beror på att alla optimeringar som Spark har under huven är utformade för komplexa operationer med stora datamängder. För enkla eller små problem kan Spark alltså faktiskt prestera sämre än andra lösningar!

Den här övningen är en del av kursen

Grunderna i PySpark

Visa kurs

Övningsinstruktioner

Utforska SparkContext.

  • Anropa print()sc för att verifiera att det finns en SparkContext i din miljö.
  • Kör print()sc.version för att se vilken version av Spark som körs i ditt kluster.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Verify SparkContext
print(____)

# Print Spark version
print(____)
Redigera och kör kod