Створення RDD
У PySpark ви можете створити RDD (Resilient Distributed Dataset — надійний розподілений набір даних) кількома способами. Оскільки ви вже знайомі з датафреймами, налаштуймо це через датафрейм. Памʼятайте: у вашому робочому середовищі вже є SparkSession з назвою spark!
Ця вправа є частиною курсу
Вступ до PySpark
Інструкції до вправи
- Створіть датафрейм з наданого списку під назвою
df. - Перетворіть датафрейм на RDD.
- Зберіть і виведіть отриманий RDD.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create a DataFrame
df = spark.____("salaries.csv", header=True, inferSchema=True)
# Convert DataFrame to RDD
rdd = df.____
# Show the RDD's contents
rdd.____
print(rdd)