Crearea RDD-urilor
În PySpark, poți crea un RDD (Resilient Distributed Dataset) în câteva moduri diferite. Deoarece ești deja familiarizat cu DataFrame-urile, vei configura acest lucru pornind de la un DataFrame. Reține că în workspace-ul tău există deja o SparkSession numită spark!
Acest exercițiu face parte din cursul
Introducere în PySpark
Instrucțiuni pentru exercițiu
- Creează un DataFrame din lista furnizată, numit
df. - Convertește DataFrame-ul într-un RDD.
- Colectează și afișează RDD-ul rezultat.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Create a DataFrame
df = spark.____("salaries.csv", header=True, inferSchema=True)
# Convert DataFrame to RDD
rdd = df.____
# Show the RDD's contents
rdd.____
print(rdd)