Mais au juste, qu'est-ce que Spark ?

Spark est une plateforme de calcul en grappe. Spark vous permet de répartir les données et les calculs sur des grappes comportant plusieurs nœuds (pensez à chaque nœud comme à un ordinateur distinct). Le fractionnement des données facilite le travail avec des ensembles de données très volumineux, puisque chaque nœud ne traite qu'une petite portion des données.

Comme chaque nœud travaille sur son propre sous-ensemble de données, il exécute aussi une partie des calculs requis, de sorte que le traitement des données et les calculs sont effectués en parallèle sur les nœuds de la grappe. Le calcul parallèle peut rendre certains types de tâches de programmation beaucoup plus rapides.

Cependant, une plus grande puissance de calcul s'accompagne d'une complexité accrue.

Déterminer si Spark est la meilleure solution pour votre problème demande de l'expérience, mais vous pouvez vous poser des questions comme :

• Mes données sont-elles trop volumineuses pour être traitées sur une seule machine ?
• Mes calculs peuvent-ils être facilement parallélisés ?

Êtes-vous enthousiaste à l'idée d'en apprendre davantage sur Spark ?