Hier zijn draken

Voordat je te enthousiast wordt, een waarschuwing. Er zijn op dit moment dingen die je vanuit R gewoon niet met Spark kunt doen. De Scala- en Python-interfaces voor Spark zijn volwassener.

Dat betekent dat je met deze cursus onbekend terrein betreedt. De reis kan wat hobbelig zijn, dus wees erop voorbereid dat je af en toe buiten je comfortzone komt.

Nog een puntje van aandacht: in deze cursus draai je code op je eigen persoonlijke Spark-minicluster in de DataCamp-cloud. Dit is ideaal om de concepten van het werken met Spark te leren, maar je krijgt niet dezelfde snelheidswinst als met een extern cluster op een high-performance server. De voorbeelden hier zullen dus niet sneller draaien dan wanneer je alleen R zou gebruiken, maar met de vaardigheden die je hier leert kun je analyses uitvoeren op je eigen grote gegevenssets.

Als je Spark lokaal wilt installeren, installeer dan simpelweg het pakket sparklyr en roep spark_install() aan.

Weet je zeker dat je wilt doorgaan?