Создание RDD
В PySpark существует несколько способов создать RDD (Resilient Distributed Dataset). Поскольку вы уже знакомы с DataFrame, воспользуемся именно этим подходом. Обратите внимание: в вашем рабочем пространстве уже доступен объект SparkSession с именем spark!
Это упражнение является частью курса
Введение в PySpark
Инструкции к упражнению
- Создайте DataFrame из предоставленного списка и назовите его
df. - Преобразуйте DataFrame в RDD.
- Соберите содержимое RDD и выведите его на экран.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Create a DataFrame
df = spark.____("salaries.csv", header=True, inferSchema=True)
# Convert DataFrame to RDD
rdd = df.____
# Show the RDD's contents
rdd.____
print(rdd)