Что такое Spark?

Spark — это платформа для кластерных вычислений. Она позволяет распределять данные и вычисления по кластерам из нескольких узлов (каждый узел можно представить как отдельный компьютер). Такое разбиение данных значительно упрощает работу с очень большими наборами данных, поскольку каждый узел обрабатывает лишь небольшую их часть.

Пока каждый узел работает со своим подмножеством данных, он одновременно выполняет часть общих вычислений. Таким образом, и обработка данных, и расчёты выполняются параллельно на всех узлах кластера. Параллельные вычисления способны значительно ускорить решение определённых классов задач.

Вместе с тем большая вычислительная мощность означает и большую сложность.

Чтобы понять, подходит ли Spark для вашей задачи, нужен некоторый опыт. Однако в качестве ориентира можно задать себе следующие вопросы:

• Слишком ли велик мой набор данных для обработки на одной машине?
• Можно ли мои вычисления легко распараллелить?

Готовы узнать о Spark больше?