Część 2: Zapytania SQL na DataFrame

DataFrame fifa_df, który wcześniej utworzyliśmy, zawiera dodatkowe informacje o typach danych i nazwach kolumn. Dzięki temu PySpark SQL może uruchamiać zapytania SQL bezpośrednio na DataFrame. Zapytania SQL są zwięzłe i wygodne w użyciu – często prostsze niż operacje na DataFrame. Żeby jednak zastosować zapytania SQL na DataFrame, najpierw musisz utworzyć tymczasowy widok DataFrame jako tabelę, a następnie wykonać zapytania na tej tabeli (tzw. programowe uruchamianie zapytań SQL).

W tej drugiej części utworzysz tymczasową tabelę z DataFrame fifa_df i uruchomisz zapytania SQL, aby wyodrębnić kolumnę 'Age' dla piłkarzy z Niemiec.

W swoim środowisku pracy masz już dostępny SparkContext spark oraz DataFrame fifa_df.

To ćwiczenie jest częścią kursu

Podstawy Big Data z PySpark

Zobacz kurs

Instrukcje do ćwiczenia

Utwórz tymczasową tabelę fifa_df_table z DataFrame fifa_df.
Skonstruuj zapytanie "query", które wyodrębni kolumnę „Age" dla piłkarzy z Niemiec z tabeli fifa_df_table.
Zastosuj zapytanie SQL "query" i utwórz nowy DataFrame fifa_df_germany_age.
Oblicz podstawowe statystyki utworzonego DataFrame.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create a temporary view of fifa_df
fifa_df.____('fifa_df_table')

# Construct the "query"
query = '''SELECT ____ FROM ____ WHERE Nationality == "Germany"'''

# Apply the SQL "query"
fifa_df_germany_age = spark.____(____)

# Generate basic statistics
fifa_df_germany_age.____().show()

Edytuj i uruchom kod