1. Nauka
    2. /
  2. Kursy
    3. /
  3. Wprowadzenie do PySpark
Connected

ćwiczenie

Łączymy wszystko razem II

Utwórz DataFrame, zastosuj przekształcenia, zapisz go w pamięci podręcznej i sprawdź, czy buforowanie się powiodło. Następnie usuń go z pamięci podręcznej, aby zwolnić zasoby. Sesja spark została już dla ciebie przygotowana! Przyjrzyj się uważnie wynikom metody .explain(), aby zrozumieć, co się dzieje podczas przetwarzania.

Instrukcje

100 XP
  • Zapisz DataFrame df w pamięci podręcznej.
  • Wyjaśnij przetwarzanie DataFrame agg_result.
  • Po zakończeniu przetwarzania usuń DataFrame df z pamięci podręcznej za pomocą unpersist().