Líné zpracování v praxi

Operace líného zpracování se obvykle dokončí přibližně za stejnou dobu bez ohledu na skutečné množství dat. Je to proto, že Spark neprovádí žádné transformace, dokud není vyžádána akce.

V tomto cvičení nadefinuješ DataFrame (aa_dfw_df) a přidáš k němu několik transformací. Všímej si, jak dlouho trvá dokončení transformací při jejich definování oproti situaci, kdy se data skutečně dotazují. Rozdíly mohou být malé, ale postřehnutelné. Na plnohodnotném Spark clusteru s větším objemem dat bude tento rozdíl mnohem výraznější.

Načti DataFrame.
Přidej transformaci F.lower() na sloupec Destination Airport.
Zobraz DataFrame pomocí .show() a všímej si, jak dlouho tato akce trvá.

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}cvičení

Pokyny

cvičení