모두 합쳐 보기 I
여러분은 PySpark의 탄탄한 기초를 쌓고 핵심 구성 요소를 살펴보았으며, Spark SQL, DataFrame, 고급 연산을 활용한 실습 시나리오도 수행했어요. 이제 이것들을 모두 합쳐 볼 시간입니다. 다음 두 개의 연습 문제에서 SparkSession과 DataFrame을 만들고, 해당 DataFrame을 캐시한 뒤, 분석을 수행하고 결과를 설명해 보겠습니다!
이 연습은 강의의 일부입니다
PySpark 입문
연습 안내
pyspark.sql에서SparkSession을 임포트하세요.SparkSession.builder.getOrCreate()를 사용해final_spark라는 새SparkSession을 만드세요.my_spark를 콘솔에 출력해SparkSession인지 확인하세요.- 미리 로드된 스키마와 열 정의를 사용해 새로운 DataFrame을 생성하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Import SparkSession from pyspark.sql
from ____ import ____
# Create my_spark
my_spark = SparkSession.builder.appName(____).____
# Print my_spark
____
# Load dataset into a DataFrame
df = ____(data, schema=columns)
df.show()