Programowe wykonywanie zapytań SQL
W PySpark można łatwo operować na DataFrame za pomocą zapytań SQL. Funkcja sql() w SparkSession umożliwia programowe wykonywanie zapytań SQL i zwraca wynik jako nowy DataFrame. W tym ćwiczeniu utworzysz tymczasową tabelę z DataFrame, który powstał wcześniej, a następnie skonstruujesz zapytanie wybierające imiona osób z tej tabeli i przypiszesz wynik do nowego DataFrame.
Pamiętaj, że w swoim środowisku masz już dostępne SparkSession spark oraz DataFrame.
To ćwiczenie jest częścią kursu
Podstawy Big Data z PySpark
Instrukcje do ćwiczenia
- Utwórz tymczasową tabelę
people. - Skonstruuj zapytanie
query, które wybiera imiona osób z tymczasowej tabelipeople. - Przypisz wynik zapytania
querySparka do nowego DataFrame o nazwiepeople_df_names. - Wyświetl 10 pierwszych imion z DataFrame
people_df_names.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create a temporary table "people"
people_df.____("people")
# Construct a query to select the names of the people from the temporary table "people"
query = '''SELECT name FROM ____'''
# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)
# Print the top 10 names of the people
people_df_names.____(____)