Zacznij terazZacznij za darmo

Uruchamianie zapytań SQL na DataFrames

W PySpark można łatwo manipulować DataFrames za pomocą zapytań SQL. Metoda .sql() obiektu SparkSession umożliwia programowe wykonywanie zapytań SQL i zwraca wynik jako nowy DataFrame. W tym ćwiczeniu utworzysz tymczasową tabelę z wcześniej przygotowanego DataFrame, a następnie skomponujesz zapytanie wybierające imiona osób z tej tabeli i przypiszesz wynik do nowego DataFrame.

Pamiętaj, że w środowisku roboczym masz już dostępną sesję SparkSession spark oraz DataFrame df.

To ćwiczenie jest częścią kursu

Wprowadzenie do PySpark

Zobacz kurs

Instrukcje do ćwiczenia

  • Utwórz tymczasową tabelę o nazwie "people" z DataFrame df.
  • Skomponuj zapytanie wybierające imiona osób z tymczasowej tabeli people.
  • Przypisz wynik zapytania Spark do nowego DataFrame o nazwie people_df_names.
  • Wyświetl 10 pierwszych imion z DataFrame people_df_names.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create a temporary table "people"
df.____("people")

# Select the names from the temporary table people
query = """SELECT name FROM ____"""

# Assign the result of Spark's query to people_df_names
people_df_names = spark.sql(____)

# Print the top 10 names of the people
people_df_names.____(____)
Edytuj i uruchom kod