Выполнение SQL-запросов программным способом

В PySpark DataFrame легко обрабатывать с помощью SQL-запросов. Функция sql() объекта SparkSession позволяет приложениям выполнять SQL-запросы программным способом и возвращает результат в виде нового DataFrame. В этом упражнении вы создадите временную таблицу на основе DataFrame, созданного ранее, затем составите запрос для выборки имён людей из этой временной таблицы и сохраните результат в новый DataFrame.

Напомним, что объект SparkSession spark и DataFrame уже доступны в вашем рабочем пространстве.

Это упражнение является частью курса

Основы Big Data с PySpark

Посмотреть курс

Инструкции к упражнению

Создайте временную таблицу people.
Составьте запрос query для выборки имён людей из временной таблицы people.
Сохраните результат выполнения запроса query в новый DataFrame — people_df_names.
Выведите первые 10 имён из DataFrame people_df_names.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Create a temporary table "people"
people_df.____("people")

# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''

# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)

# Print the top 10 names of the people
people_df_names.____(____)

Редактировать и запускать код