Часть 2: SQL-запросы к DataFrame
DataFrame fifa_df, который мы создали ранее, содержит дополнительную информацию о типах данных и именах столбцов. Эта информация позволяет PySpark SQL выполнять SQL-запросы к DataFrame. SQL-запросы лаконичны и удобны в использовании по сравнению с операциями DataFrame. Однако перед тем как применять SQL-запросы к DataFrame, необходимо создать временное представление DataFrame в виде таблицы, а затем выполнять запросы к этой таблице (программное выполнение SQL-запросов).
Во второй части вы создадите временную таблицу из DataFrame fifa_df и выполните SQL-запросы, чтобы извлечь столбец 'Age' для игроков из Германии.
В вашем рабочем пространстве уже доступны SparkContext spark и DataFrame fifa_df.
Это упражнение является частью курса
Основы Big Data с PySpark
Инструкции к упражнению
- Создайте временную таблицу
fifa_df_tableиз DataFramefifa_df. - Составьте запрос "query" для извлечения столбца "Age" игроков из Германии из таблицы
fifa_df_table. - Примените SQL-запрос "query" и создайте новый DataFrame
fifa_df_germany_age. - Вычислите базовую статистику по созданному DataFrame.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')
# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''
# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)
# Generate basic statistics
fifa_df_germany_age.____().show()