Část 2: SQL dotazy nad DataFrame
DataFrame fifa_df, který jsme vytvořili, obsahuje také informace o datových typech a názvech sloupců. Právě díky nim může PySpark SQL spouštět SQL dotazy nad DataFrame. SQL dotazy jsou stručné a pohodlné – ve srovnání s operacemi nad DataFrame se s nimi pracuje snáz. Aby ses ale na DataFrame mohl/a SQL dotazy spouštět, musíš nejprve vytvořit dočasný pohled DataFrame jako tabulku a teprve na ní dotazy spustit (programatické spouštění SQL dotazů).
V druhé části vytvoříš dočasnou tabulku z DataFrame fifa_df a pomocí SQL dotazů z ní extrahuješ sloupec 'Age' pro hráče z Německa.
V pracovním prostředí máš k dispozici SparkContext spark a DataFrame fifa_df.
Toto cvičení je součástí kurzu
Big Data Fundamentals with PySpark
Pokyny k cvičení
- Vytvoř dočasnou tabulku
fifa_df_tablez DataFramefifa_df. - Sestav dotaz
"query", který z tabulkyfifa_df_tableextrahuje sloupec "Age" pro hráče z Německa. - Aplikuj SQL dotaz
"query"a vytvoř nový DataFramefifa_df_germany_age. - Vypočítej základní statistiky vytvořeného DataFrame.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')
# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''
# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)
# Generate basic statistics
fifa_df_germany_age.____().show()