Inspectarea cache-ului în Spark UI

Un DataFrame partitioned_df este disponibil. Este folosit pentru a înregistra un tabel temporar numit text. Tabelul text este apoi pus în cache cu spark.catalog.cacheTable('text'). Dacă ai rula Spark local, Spark UI ar fi disponibil la http://localhost:4040/storage/. Pentru scopul acestui exercițiu, examinează imaginea de mai jos. Aceasta arată ce ar afișa Spark UI odată ce cache-ul pentru text este încărcat:

Spark UI Storage

Imagine arată că un tabel numit text, cu șapte partiții, este stocat în cache în memorie. Care dintre variantele de mai jos ar determina imediat apariția acestei informații în Spark UI?

Aplicarea unei transformări pe DataFrame-ul de bază, de exemplu df = partitioned_df.distinct().
Numărarea rândurilor din DataFrame-ul de bază, de exemplu: partitioned_df.count()
Interogarea tabelului, de exemplu: spark.sql("select count(*) from text")
Interogarea tabelului și afișarea rezultatului, de exemplu: spark.sql("select count(*) from text").show()

Acest exercițiu face parte din cursul

Introducere în Spark SQL în Python

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Introducere în Spark SQL în Python

SkillTag.level.advancedSkillTag.label

4.7+

Începe cursul gratuit

În acest capitol vei învăța cum să creezi și să interoghezi un tabel SQL în Spark. Spark SQL aduce expresivitatea SQL în Spark. Vei învăța, de asemenea, cum să folosești funcțiile de fereastră SQL în Spark. Funcțiile de fereastră efectuează calcule pe rânduri aflate în relație cu rândul curent. Acestea simplifică semnificativ obținerea unor rezultate care sunt dificil de exprimat folosind doar join-uri și agregări tradiționale. Vom folosi funcții de fereastră pentru a calcula sume cumulative, diferențe cumulative și alte operații dificil de realizat în SQL de bază.

Exercise 1: Crearea și interogarea unui tabel SQL în Spark Exercise 2: Creează o tabelă SQL dintr-un dataframe Exercise 3: Determină numele coloanelor unui tabel Exercise 4: SQL cu funcții de fereastră Exercise 5: Sume cumulative cu funcții de fereastră SQL Exercise 6: Corectează interogarea defectă Exercise 7: Notația cu punct și SQL Exercise 8: Agregare pas cu pas Exercise 9: Agregarea aceleiași coloane de două ori Exercise 10: Agregare cu notație punct vs. SQL Exercise 11: Convertește funcția de fereastră din notație cu punct în SQL

În acest capitol vei încărca text în limbaj natural. Apoi vei aplica o analiză cu fereastră mobilă pentru a identifica secvențe frecvente de cuvinte.

Exercise 1: Încărcarea textului în limbaj natural Exercise 2: Încărcarea unui dataframe dintr-un fișier parquet Exercise 3: Separă și extinde o coloană de text Exercise 4: Utilizarea funcției monotonically_increasing_id()Exercise 5: Analiza cu fereastră mobilă Exercise 6: Crearea datelor de caracteristici pentru fereastra de context Exercise 7: Repartiționarea datelor Exercise 8: Secvențe frecvente de cuvinte Exercise 9: Ce tip de date este acesta Exercise 10: Găsirea secvențelor frecvente de cuvinte Exercise 11: 5-tuple unice în ordine sortată Exercise 12: Cele mai frecvente 3-tuple per capitol

În capitolele anterioare ai învățat cum să folosești expresivitatea funcțiilor de fereastră SQL. Această expresivitate face acum important să înțelegi cum să stochezi corect în cache DataFrames și tabele SQL. Este, de asemenea, important să știi cum să evaluezi aplicația. Vei învăța să faci asta folosind interfața Spark UI. Vei învăța și o bună practică pentru logare în Spark. Spark SQL aduce cu sine un instrument util pentru optimizarea performanței interogărilor: planul de execuție a interogărilor. Vei învăța cum să folosești planul de execuție pentru a evalua proveniența unui DataFrame.

Exercise 1: Memorarea în cache Exercise 2: Exersarea stocării în cache: partea 1 Exercise 3: Exersăm caching-ul: SQL-ul Exercise 4: Exersăm caching-ul: totul împreună Exercise 5: Stocarea și eliminarea din cache a tabelelor Exercise 6: Interfața Spark UI Exercise 7: Fila Storage din Spark UI Exercise 8: Inspectarea cache-ului în Spark UI

Exercițiul curent

Exercise 9: Jurnalizare Exercise 10: Exersează jurnalizarea Exercise 11: Exersează jurnalizarea 2 Exercise 12: Planuri de interogare Exercise 13: Exersează planurile de interogare Exercise 14: Exersează citirea planurilor de interogare 2

Capitolele anterioare ți-au oferit instrumentele necesare pentru a încărca text brut, a-l tokeniza și a extrage secvențe de cuvinte. Acest lucru este deja foarte util pentru analiză, dar și pentru învățarea automată. Ceea ce ai învățat se reunește acum prin utilizarea regresiei logistice pentru clasificarea textului. La finalul acestui capitol, vei fi încărcat date brute de text în limbaj natural și le vei fi folosit pentru a antrena un clasificator de text.

Exercise 1: Extrage, transformă, selectează Exercise 2: Exersează crearea unui UDF Exercise 3: Lucrul cu coloane de tip array Exercise 4: Crearea datelor de caracteristici pentru clasificare Exercise 5: Crearea unui UDF pentru date de tip vector Exercise 6: Aplicarea unui UDF pe date de tip vector Exercise 7: Transformarea textului în format vectorial Exercise 8: Clasificarea textului Exercise 9: Etichetarea datelor Exercise 10: Împarte datele Exercise 11: Antrenează clasificatorul Exercise 12: Predicție și evaluare Exercise 13: Evaluează clasificatorul Exercise 14: Prezice datele de testare Exercise 15: Recapitulare