데이터를 Spark로 복사하기
Spark로 실제 작업을 시작하려면 먼저 데이터를 Spark로 가져와야 합니다. sparklyr에는 CSV 파일을 Spark로 읽어들이는 spark_read_csv() 같은 함수가 있어요. 더 일반적으로는 R에서 Spark로 데이터를 복사할 수 있어야 유용합니다. 이는 dplyr의 copy_to() 함수로 수행합니다. 주의하세요: 데이터 복사는 본질적으로 느린 작업입니다. 실제로, 대용량 데이터셋에서 성능을 최적화하는 많은 전략은 데이터를 한 위치에서 다른 위치로 복사하지 않도록 하는 데 초점을 둡니다.
copy_to()는 두 가지 인수를 받습니다. Spark 연결(dest)과 Spark로 복사할 데이터 프레임(df)입니다.
데이터를 Spark로 복사한 뒤 실제로 잘 들어갔는지 확인하고 싶을 거예요. src_tbls()를 사용하면 Spark에 저장된 모든 데이터 프레임 목록을 볼 수 있으며, 이 함수는 Spark 연결 인수(x)만 받습니다.
이 강의 전반에서 Million Song Dataset의 트랙 메타데이터를 살펴봅니다. Spark는 백만 행을 훌쩍 넘어서는 규모도 잘 처리하지만, 간단하고 반응성을 유지하기 위해 여기서는 1,000개 트랙의 하위 집합을 사용해요. 용어를 분명히 하자면, 데이터셋에서 하나의 ‘트랙’은 한 행을 뜻합니다. 이번 1,000개 트랙 데이터셋에서는 이것이 곧 ‘노래’와 동일합니다(전체 백만 행 데이터셋에는 중복된 노래가 일부 포함되어 있었습니다).
이 연습은 강의의 일부입니다
R에서 sparklyr로 시작하는 Spark
연습 안내
노래 이름, 아티스트 이름 등 1,000개 트랙의 메타데이터를 담은 track_metadata가 작업 공간에 미리 정의되어 있습니다.
str()로track_metadata데이터셋의 구조를 살펴보세요.- 로컬 Spark 클러스터에 연결하고, 연결을
spark_conn에 저장하세요. copy_to()를 사용해track_metadata를 Spark 클러스터로 복사하세요.src_tbls()로 Spark에서 사용 가능한 데이터 프레임 목록을 확인하세요.- Spark 연결을 해제하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Load dplyr
___
# Explore track_metadata structure
___
# Connect to your Spark cluster
spark_conn <- spark_connect("___")
# Copy track_metadata to Spark
track_metadata_tbl <- ___(___, ___, overwrite = TRUE)
# List the data frames available in Spark
___(___)
# Disconnect from Spark
spark_disconnect(___)