1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Introduction to PySpark
Connected

cvičení

Celá čísla v UDF funkcích PySparku

Toto cvičení se zaměřuje na UDF funkce a ukáže ti, jak v PySparku vytvářet vlastní funkce! Při práci na něm přemýšlej o tom, co by takový přístup nahradil v procesu čištění dat.

Nezapomeň, že v tvém pracovním prostředí je už připravená SparkSession s názvem spark!

Pokyny

100 XP
  • Zaregistruj funkci age_category jako UDF s názvem age_category_udf.
  • Přidej do DataFrame df nový sloupec "category", který pomocí UDF zařadí osoby do kategorií podle věku. Argument pro age_category_udf() je již připraven.
  • Zobraz výsledný DataFrame.