Začněte nyníZačněte zdarma

Analytika pomocí SQL nad DataFrame

SQL dotazy jsou oproti operacím s DataFrame stručné a snadno použitelné. Aby bylo možné SQL dotazy na DataFrame spustit, je nejprve potřeba vytvořit dočasný pohled DataFrame jako tabulku a teprve pak na ní dotazy aplikovat.

V prostředí máš k dispozici SparkContext spark a DataFrame salaries_df.

Toto cvičení je součástí kurzu

Introduction to PySpark

Zobrazit kurz

Pokyny k cvičení

  • Z DataFrame salaries_df vytvoř dočasnou tabulku "salaries_table".
  • Sestav dotaz, který z company_location v Kanadě ("CA") extrahuje sloupec "job_title".
  • Aplikuj SQL dotaz a vytvoř nový DataFrame canada_titles.
  • Získej souhrn tabulky.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Create a temporary view of salaries_table
salaries_df.____('salaries_table')

# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''

# Apply the SQL "query"
canada_titles = spark.____(____)

# Generate basic statistics
canada_titles.____().show()
Upravit a spustit kód