ÎncepețiÎncepe gratuit

Agregarea în RDD-uri

Acum că ai realizat analize cu DataFrame-uri în PySpark, să facem o sarcină similară folosind un RDD. Pe baza codului furnizat, calculează suma valorilor unui RDD în PySpark.

O sesiune Spark numită spark a fost deja creată pentru tine.

Acest exercițiu face parte din cursul

Introducere în PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

  • Creează un RDD din DataFrame-ul furnizat.
  • Aplică funcția Lambda furnizată asupra cheilor RDD-ului.
  • Colectează rezultatele agregării.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# DataFrame Creation
data = [("HR", "3000"), ("IT", "4000"), ("Finance", "3500")]
columns = ["Department", "Salary"]
df = spark.createDataFrame(data, schema=columns)

# Map the DataFrame to an RDD
rdd = df.rdd.____(lambda row: (row["Department"], row["Salary"]))

# Apply a lambda function to get the sum of the DataFrame
rdd_aggregated = rdd.____(lambda x, y: x + y)

# Show the collected Results
print(rdd_aggregated.____())
Editează și rulează codul