RDD를 DataFrame으로 변환
RDD와 마찬가지로 DataFrame도 Spark에서 변경 불가능하고 분산된 데이터 구조예요. RDD는 Spark의 기본 데이터 구조이지만, 일반적으로 DataFrame으로 작업하는 것이 RDD보다 더 쉬워요. 따라서 RDD를 DataFrame으로 변환하는 방법을 이해하는 것이 중요합니다.
이 연습에서는 먼저 이미 제공된 sample_list를 사용해 RDD를 만듭니다. 이 RDD에는 각 사람의 이름과 나이를 담은 튜플 ('Mona',20), ('Jennifer',34),('John',20), ('Jim',26) 목록이 들어 있어요. 다음으로, 이 RDD와 스키마(‘Name’과 ‘Age’의 리스트)를 사용해 DataFrame을 생성하고, 마지막으로 출력이 PySpark DataFrame인지 확인할 거예요.
작업 공간에는 이미 SparkContext sc와 SparkSession spark가 준비되어 있다는 점을 기억해 주세요.
이 연습은 강의의 일부입니다
PySpark로 배우는 빅데이터 기초
연습 안내
sample_list에서 RDD를 생성하세요.- 위에서 만든 RDD와 스키마를 사용해 PySpark DataFrame을 생성하세요.
- 결과가 PySpark DataFrame인지 확인하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create an RDD from the list
rdd = sc.____(sample_list)
# Create a PySpark DataFrame
names_df = spark.createDataFrame(____, ____=['Name', 'Age'])
# Check the type of names_df
print("The type of names_df is", ____(names_df))