Czym właściwie jest Spark?

Spark to platforma do obliczeń klastrowych. Pozwala rozkładać dane i obliczenia na klastry złożone z wielu węzłów (każdy węzeł to osobny komputer). Podział danych ułatwia pracę z bardzo dużymi zbiorami – każdy węzeł przetwarza tylko niewielką ich część.

Ponieważ każdy węzeł pracuje na własnym fragmencie danych, wykonuje też odpowiednią część obliczeń. Dzięki temu zarówno przetwarzanie danych, jak i obliczenia odbywają się równolegle na wszystkich węzłach klastra. Obliczenia równoległe potrafią znacząco przyspieszyć pewne typy zadań programistycznych.

Większa moc obliczeniowa wiąże się jednak z większą złożonością.

Ocena, czy Spark to właściwe narzędzie do danego problemu, wymaga pewnego doświadczenia. Warto zadać sobie kilka pytań:

• Czy moje dane są zbyt duże, żeby przetwarzać je na jednym komputerze?
• Czy moje obliczenia można łatwo zrównoleglić?

Czy chcesz dowiedzieć się więcej o Sparku?