ÎncepețiÎncepe gratuit

Totul împreună II

Creează un DataFrame, aplică transformări, memorează-l în cache și verifică dacă este stocat. Apoi, elimină-l din cache pentru a elibera memoria. Pentru acest exercițiu, sesiunea spark a fost deja creată! Urmărește cu atenție rezultatul metodei .explain() pentru a înțelege ce se întâmplă!

Acest exercițiu face parte din cursul

Introducere în PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

  • Memorează în cache DataFrame-ul df.
  • Explică procesarea DataFrame-ului agg_result.
  • Elimină din cache DataFrame-ul df după procesare.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Cache the DataFrame
df.____

# Perform aggregation
agg_result = df.groupBy("Department").sum("Salary")
agg_result.show()

# Analyze the execution plan
agg_result.____

# Uncache the DataFrame
df.____
Editează și rulează codul