Осторожно: впереди неизведанное

Прежде чем с головой погрузиться в тему, стоит сделать небольшую оговорку. Некоторые возможности Spark пока недоступны при работе из R. Интерфейсы Scala и Python для Spark на сегодняшний день более зрелые.

Это означает, что в данном курсе вы вступаете на малоизведанную территорию. Путь может оказаться непростым, так что будьте готовы временами выходить за рамки привычного.

Ещё один важный момент: в этом курсе вы будете запускать код на собственном мини-кластере Spark в облаке DataCamp. Это идеальная среда для освоения концепций Spark, однако прироста производительности, сопоставимого с удалённым кластером на высокопроизводительном сервере, здесь не будет. Иными словами, примеры из курса не будут выполняться быстрее, чем при работе только с R. Зато навыки, полученные здесь, вы сможете применить для анализа больших наборов данных на собственных ресурсах.

Если вы хотите установить Spark на локальной машине, достаточно установить пакет sparklyr и вызвать spark_install().

Готовы продолжить?