PySpark의 대화형 사용
Spark에는 PySpark가 이미 설치된 대화형 Python 셸이 함께 제공됩니다. PySpark 셸은 기본적인 테스트와 디버깅에 유용하며 꽤 강력합니다. PySpark 셸의 강점을 가장 쉽게 보여 주는 방법은 연습 문제를 풀어 보는 것입니다. 이번 연습에서는 1부터 100까지의 숫자를 담은 간단한 리스트를 PySpark 셸에서 로드해 보겠습니다.
여기서 가장 중요한 점은 SparkContext 객체를 따로 생성하지 않는다는 것입니다. PySpark 셸에서는 sc라는 이름의 SparkContext 객체가 자동으로 생성됩니다.
이 연습은 강의의 일부입니다
PySpark로 배우는 빅데이터 기초
연습 안내
- 1부터 100까지의 숫자를 담은 Python 리스트
numb를 생성하세요. - Spark Context의
parallelize메서드를 사용해 리스트를 Spark에 로드하고, 변수spark_data에 할당하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a Python list of numbers from 1 to 100
numb = range(____, ____)
# Load the list into PySpark
spark_data = sc.____(numb)