Análise do SparkContext

Neste exercício, você vai conhecer melhor o SparkContext.

Você provavelmente perceberá que o código leva mais tempo para ser executado do que o esperado. Isso ocorre porque o Spark é um software robusto. A inicialização leva mais tempo do que o habitual. Você também pode descobrir que a execução de cálculos mais simples pode demorar mais do que o esperado. Isso se deve ao fato de que todos os mecanismos de otimização do Spark foram projetados para operações complicadas com grandes conjuntos de dados. Isso significa que, para problemas simples ou pequenos, o Spark pode ter um desempenho pior do que algumas outras soluções!