Що таке Spark?

Spark — це платформа для обчислень на кластерах. Вона дає змогу розподіляти дані й обчислення між кластерами з кількома вузлами (уявіть, що кожен вузол — це окремий комп'ютер). Коли ви ділите дані, працювати з дуже великими наборами стає простіше, адже кожен вузол обробляє лише невелику частину.

Оскільки кожен вузол працює зі своїм піднабором даних, він також виконує частину загальних обчислень. Тобто і обробка даних, і обчислення відбуваються паралельно на вузлах кластера. Відомо, що паралельні обчислення можуть значно прискорити певні типи програмних завдань.

Однак з більшою обчислювальною потужністю приходить і більша складність.

Щоб вирішити, чи підходить Spark для вашої задачі, потрібен певний досвід. Водночас варто поставити собі запитання:

• Чи надто великі мої дані, щоб працювати з ними на одній машині?
• Чи можна легко розпаралелити мої обчислення?

Ви готові дізнатися більше про Spark?