Програмний запуск SQL-запитів
Датафрейми в PySpark можна легко обробляти за допомогою SQL-запитів. Функція sql() у SparkSession дає змогу програмно виконувати SQL-запити й повертати результат як інший датафрейм. У цій вправі ви створите тимчасову таблицю з датафрейма, який ви раніше збудували, потім складете запит, щоб вибрати імена людей із цієї тимчасової таблиці, і запишете результат у новий датафрейм.
Пам'ятайте, у вашому робочому середовищі вже є SparkSession spark і датафрейм.
Ця вправа є частиною курсу
Основи Big Data з PySpark
Інструкції до вправи
- Створіть тимчасову таблицю
people. - Сформуйте
query, щоб вибрати імена людей з тимчасової таблиціpeople. - Присвойте результат виконання
queryу Spark новому датафрейму —people_df_names. - Виведіть перші 10 імен людей із датафрейма
people_df_names.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Create a temporary table "people"
people_df.____("people")
# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)