SparkContext 살펴보기
이 연습에서는 SparkContext에 익숙해지실 거예요.
코드 실행에 예상보다 시간이 더 걸릴 수 있습니다. Spark는 상당히 복잡한 소프트웨어라 시작하는 데 시간이 더 필요해요. 단순한 계산을 실행해도 생각보다 오래 걸릴 수 있습니다. 이는 Spark가 내부적으로 제공하는 최적화가 대용량 데이터에 대한 복잡한 연산에 맞춰져 있기 때문입니다. 그래서 문제의 규모가 작거나 단순할 때는 Spark가 다른 해법보다 오히려 느릴 수도 있어요!
이 연습은 강의의 일부입니다
PySpark 기초
연습 안내
SparkContext와 친해져 보세요.
- 환경에
SparkContext가 있는지 확인하려면sc에print()를 호출하세요. - 클러스터에서 실행 중인 Spark 버전을 확인하려면
sc.version을print()하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Verify SparkContext
print(____)
# Print Spark version
print(____)