ÎncepețiÎncepe gratuit

Analiză cu SQL pe DataFrame-uri

Interogările SQL sunt concise și ușor de aplicat față de operațiunile pe DataFrame. Totuși, pentru a folosi interogări SQL pe un DataFrame, trebuie mai întâi să creezi o vedere temporară a acestuia ca tabel, după care poți aplica interogările SQL pe tabelul creat.

Ai deja un SparkContext spark și salaries_df disponibile în spațiul tău de lucru.

Acest exercițiu face parte din cursul

Introducere în PySpark

Vezi cursul

Instrucțiuni pentru exercițiu

  • Creează tabelul temporar "salaries_table" din DataFrame-ul salaries_df.
  • Construiește o interogare pentru a extrage coloana "job_title" pentru locațiile din Canada ("CA").
  • Aplică interogarea SQL și creează un nou DataFrame numit canada_titles.
  • Obține un rezumat al tabelului.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create a temporary view of salaries_table
salaries_df.____('salaries_table')

# Construct the "query"
query = '''SELECT job_title, salary_in_usd FROM ____ WHERE company_location == "CA"'''

# Apply the SQL "query"
canada_titles = spark.____(____)

# Generate basic statistics
canada_titles.____().show()
Editează și rulează codul