Запуск SQL для DataFrame

DataFrame у PySpark можна легко обробляти за допомогою SQL-запитів. Метод .sql() у SparkSession дає змогу програмно виконувати SQL-запити й повертати результат як інший датафрейм. У цій вправі ви створите тимчасову таблицю з датафрейму, який ви раніше побудували, потім складете запит, щоб вибрати імена людей із тимчасової таблиці, і запишете результат у новий датафрейм.

Пам'ятайте: у вашому середовищі вже доступні SparkSession spark і датафрейм df.

Ця вправа є частиною курсу

Вступ до PySpark

Переглянути курс

Інструкції до вправи

Створіть тимчасову таблицю з назвою "people" з датафрейму df.
Складіть запит, щоб вибрати імена людей із тимчасової таблиці people.
Присвойте результат запиту Spark новому датафрейму з назвою people_df_names.
Виведіть перші 10 імен людей із датафрейму people_df_names.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create a temporary table "people"
df.____("people")

# Select the names from the temporary table people
query = """SELECT name FROM ____"""

# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)

# Print the top 10 names of the people
people_df_names.____(____)

Редагувати та запускати код