1. 学ぶ
    2. /
  2. コース
    3. /
  3. R에서 sparklyr로 시작하는 Spark
Connected

演習

Connect-Work-Disconnect 패턴

데이터베이스에 데이터가 있을 때 dplyr를 사용하는 것과 마찬가지로, sparklyr로 작업하는 방식도 매우 유사합니다. 실제로 sparklyr는 R 코드를 Spark에 전달하기 전에 SQL 코드로 변환합니다.

일반적인 워크플로는 세 단계로 이루어집니다.

  1. spark_connect()로 Spark에 연결합니다.
  2. 작업을 수행합니다.
  3. spark_disconnect()로 Spark 연결을 종료합니다.

이 연습 문제에서는 가장 간단한 작업을 해볼 거예요. 즉, spark_version()을 사용해 실행 중인 Spark의 버전을 가져옵니다.

spark_connect()는 Spark의 위치를 나타내는 URL을 받습니다. 로컬 클러스터(지금과 같이 로컬에서 실행하는 경우)라면 URL은 "local"이어야 합니다. 원격 클러스터(일반적으로 고성능 서버 등 다른 머신)라면 연결 문자열은 접속할 URL과 포트가 됩니다.

spark_version()과 spark_disconnect()는 둘 다 Spark 연결 객체를 유일한 인자로 받습니다.

한 가지 주의 사항이 있어요. 클러스터에 연결하는 데에는 몇 초가 걸리므로 자주 연결하고 해제하는 것은 비효율적입니다. DataCamp의 각 연습 문제에서는 매번 다시 연결해야 하지만, 실제 워크플로에 sparklyr를 통합할 때는 Spark로 작업하는 동안 연결을 계속 유지하는 것이 보통 가장 좋습니다.

指示

100 XP
  • library()로 sparklyr 패키지를 불러오세요.
  • spark_connect()를 호출하여 Spark에 연결하세요. 인수는 master = "local"로 하고, 결과를 spark_conn에 할당하세요.
  • spark_version()으로 Spark 버전을 가져오세요. 인수는 sc = spark_conn입니다.
  • spark_disconnect()로 Spark 연결을 해제하세요. 인수는 sc = spark_conn입니다.