Від RDD до DataFrame
Подібно до RDD, датафрейми (DataFrame) у Spark — це незмінні та розподілені структури даних. Хоч RDD і є базовою структурою даних у Spark, працювати з даними в датафреймах зазвичай простіше, ніж у RDD. Тому важливо розуміти, як перетворити RDD на датафрейм.
У цій вправі ви спочатку створите RDD з sample_list, який уже надано. Цей RDD містить список кортежів ('Mona',20), ('Jennifer',34),('John',20), ('Jim',26), де кожен кортеж має ім'я людини та її вік. Далі ви створите DataFrame з цього RDD і схеми (тобто списку 'Name' і 'Age'), а наприкінці переконаєтеся, що результат — це датафрейм PySpark.
Пам'ятайте, у вашому середовищі вже доступні SparkContext sc і SparkSession spark.
Ця вправа є частиною курсу
Основи Big Data з PySpark
Інструкції до вправи
- Створіть RDD з
sample_list. - Створіть датафрейм PySpark, використавши вказані RDD і схему.
- Переконайтеся, що результат — це датафрейм PySpark.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create an RDD from the list
rdd = sc.____(sample_list)
# Create a PySpark DataFrame
names_df = spark.createDataFrame(____, ____=['Name', 'Age'])
# Check the type of names_df
print("The type of names_df is", ____(names_df))