Выполнение SQL-запросов к DataFrame

В PySpark DataFrame можно легко обрабатывать с помощью SQL-запросов. Метод .sql() в SparkSession позволяет выполнять SQL-запросы программно и возвращает результат в виде нового DataFrame. В этом упражнении вы создадите временную таблицу на основе уже существующего DataFrame, составите запрос для выборки имён людей из этой таблицы и сохраните результат в новый DataFrame.

Напомним, что в рабочей среде уже доступны SparkSession spark и DataFrame df.

Это упражнение является частью курса

Введение в PySpark

Посмотреть курс

Инструкции к упражнению

Создайте временную таблицу с именем "people" из DataFrame df.
Составьте запрос для выборки имён людей из временной таблицы people.
Сохраните результат Spark-запроса в новый DataFrame с именем people_df_names.
Выведите первые 10 имён из DataFrame people_df_names.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create a temporary table "people"
df.____("people")

# Select the names from the temporary table people
query = """SELECT name FROM ____"""

# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)

# Print the top 10 names of the people
people_df_names.____(____)

Редактировать и запускать код