Esplorare lo SparkContext
In questo esercizio prenderai confidenza con lo SparkContext.
Probabilmente noterai che il codice impiega più tempo a partire di quanto ti aspetti. Questo perché Spark è un software davvero potente e l’avvio richiede più tempo del solito. Potresti anche vedere che eseguire calcoli semplici richiede più tempo del previsto: le ottimizzazioni di Spark sono pensate per operazioni complesse su grandi insiemi di dati. Questo significa che, per problemi semplici o di piccole dimensioni, Spark può risultare meno efficiente rispetto ad altre soluzioni!
Questo esercizio fa parte del corso
Fondamenti di PySpark
Istruzioni dell'esercizio
Prendi confidenza con lo SparkContext.
- Chiama
print()suscper verificare che nel tuo ambiente ci sia unoSparkContext. print()sc.versionper vedere quale versione di Spark è in esecuzione sul tuo cluster.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Verify SparkContext
print(____)
# Print Spark version
print(____)