Spouštění SQL dotazů programově
DataFramy lze v PySparku snadno zpracovávat pomocí SQL dotazů. Funkce sql() ve SparkSession umožňuje aplikacím spouštět SQL dotazy programově a vrací výsledek jako nový DataFrame. V tomto cvičení vytvoříš dočasnou tabulku z DataFrame, který jsi vytvořil/a dříve, sestavíš dotaz pro výběr jmen osob z dočasné tabulky a výsledek uložíš do nového DataFrame.
Pamatuj, že ve svém pracovním prostředí už máš k dispozici SparkSession spark i příslušný DataFrame.
Toto cvičení je součástí kurzu
Big Data Fundamentals with PySpark
Pokyny k cvičení
- Vytvoř dočasnou tabulku
people. - Sestav
querypro výběr jmen osob z dočasné tabulkypeople. - Výsledek Sparkova dotazu
queryulož do nového DataFramepeople_df_names. - Vypiš prvních 10 jmen osob z DataFrame
people_df_names.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create a temporary table "people"
people_df.____("people")
# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)