Het patroon: verbinden–werken–verbreken

Werken met sparklyr lijkt sterk op werken met dplyr wanneer je data in een database staat. sparklyr zet je R-code zelfs om naar SQL-code voordat het naar Spark wordt gestuurd.

De typische workflow heeft drie stappen:

Maak verbinding met Spark met spark_connect().
Doe wat werk.
Sluit de verbinding met Spark met spark_disconnect().

In deze oefening doe je het eenvoudigst mogelijke klusje: de versie van Spark die draait ophalen met spark_version().

spark_connect() neemt een URL die de locatie van Spark aangeeft. Voor een lokale cluster (zoals je hier draait) moet de URL "local" zijn. Voor een externe cluster (op een andere machine, meestal een high-performance server) is de connectiestring een URL met poort waarop je verbindt.

spark_version() en spark_disconnect() nemen allebei de Spark-verbinding als enige argument.

Een kleine waarschuwing: verbinden met een cluster duurt enkele seconden, dus het is onpraktisch om steeds te verbinden en te verbreken. In DataCamp-oefeningen moet je telkens opnieuw verbinden, maar als je sparklyr in je eigen workflow gebruikt, kun je de verbinding het beste open laten zolang je met Spark wilt werken.

Deze oefening maakt deel uit van de cursus

Introductie tot Spark met sparklyr in R

Bekijk cursus

Oefeninstructies

Laad het pakket sparklyr met library().
Maak verbinding met Spark door spark_connect() aan te roepen met het argument master = "local". Sla het resultaat op in spark_conn.
Haal de Spark-versie op met spark_version(), met als argument sc = spark_conn.
Verbreek de verbinding met Spark met spark_disconnect(), met als argument sc = spark_conn.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Load sparklyr
___

# Connect to your Spark cluster
spark_conn <- ___

# Print the version of Spark
___

# Disconnect from Spark
___

Code bewerken en uitvoeren