SparkSession 생성하기
이 연습 문제에서는 사용 가능한 모든 코어를 활용해 로컬 Spark 클러스터를 실행해 보세요. 클러스터에는 SparkSession 객체를 통해 접근할 수 있어요.
SparkSession 클래스에는 builder 속성이 있으며, 이는 Builder 클래스의 인스턴스예요. Builder 클래스는 다음을 할 수 있는 세 가지 중요한 메서드를 제공해요.
- 마스터 노드의 위치를 지정하고,
- 애플리케이션 이름을 설정하며(선택 사항),
- 기존
SparkSession을 가져오거나 없으면 새로 생성해요.
SparkSession 클래스에는 Spark의 버전을 알려주는 version 속성이 있어요. 참고: 버전은 pyspark 모듈의 __version__ 속성으로도 확인할 수 있어요.
SparkSession에 대해 더 알아보려면 여기를 참고하세요.
작업을 마치면 클러스터를 종료하는 것이 좋아요. 이렇게 하면 자원을 해제하여 다른 프로세스가 사용할 수 있게 돼요.
참고 사항:
- IPython Shell 옆의 슬라이드 패널에서 레슨 슬라이드를 다시 보면 도움이 될 수 있어요.
- 이 연습 문제에서 사용하는 Spark 버전은 레슨과는 동일하지 않아요. 연습용 플랫폼은 더 최신 버전의 Spark로 업데이트되어 있어요.
이 연습은 강의의 일부입니다
PySpark로 하는 Machine Learning
연습 안내
pyspark.sql에서SparkSession클래스를 임포트하세요.- 로컬 클러스터에 연결된
SparkSession객체를 생성하세요. 사용 가능한 모든 코어를 사용하고, 애플리케이션 이름은'test'로 지정하세요. - 클러스터에서 실행 중인 Spark의 버전을 확인하려면
SparkSession객체의version속성을 사용하세요. 참고: 프레젠테이션에서 사용된 버전과 다를 수 있어요(수시로 업데이트됩니다). - 클러스터를 종료하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import the SparkSession class
from ____ import ____
# Create SparkSession object
spark = SparkSession.builder \
.master(____) \
.____(____) \
.____()
# What version of Spark?
print(spark.____)
# Terminate the cluster
spark.____()