Zacznij terazZacznij za darmo

Analityka z SQL na DataFrame'ach

Zapytania SQL są zwięzłe i wygodniejsze w użyciu niż operacje na DataFrame'ach. Aby jednak wykonać zapytanie SQL na DataFrame'ie, najpierw musisz utworzyć tymczasowy widok tego DataFrame'a jako tabelę, a następnie uruchomić zapytanie na tej tabeli.

W swoim środowisku pracy masz już dostępne SparkContext spark oraz salaries_df.

To ćwiczenie jest częścią kursu

Wprowadzenie do PySpark

Zobacz kurs

Instrukcje do ćwiczenia

  • Utwórz tymczasową tabelę "salaries_table" z DataFrame'a salaries_df.
  • Skonstruuj zapytanie wyodrębniające kolumnę "job_title" dla rekordów z company_location w Kanadzie ("CA").
  • Zastosuj zapytanie SQL i utwórz nowy DataFrame canada_titles.
  • Pobierz podsumowanie tabeli.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create a temporary view of salaries_table
salaries_df.____('salaries_table')

# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''

# Apply the SQL "query"
canada_titles = spark.____(____)

# Generate basic statistics
canada_titles.____().show()
Edytuj i uruchom kod