Fila Storage din Spark UI

Pe disc există un folder numit sherlock_parts, care conține douăsprezece fișiere text.

ls sherlock_parts
sherlock_part0.txt   sherlock_part2.txt   sherlock_part7.txt
sherlock_part1.txt   sherlock_part3.txt   sherlock_part8.txt
sherlock_part10.txt  sherlock_part4.txt   sherlock_part9.txt
sherlock_part11.txt  sherlock_part5.txt
sherlock_part12.txt  sherlock_part6.txt

Încărcat în Spark, acesta creează un dataframe cu șapte partiții.

partitioned_df = spark.read.text('sherlock_parts')
partitioned_df.rdd.getNumPartitions()
7

Se creează un tabel, iar tabelul este stocat în cache:

partitioned_df.createOrReplaceTempView('text')
spark.catalog.cacheTable('text')

Spark UI Storage

Întrebare: Ce va apărea în fila Storage din Spark UI după ce operațiunea de cache este declanșată de o acțiune?

Acest exercițiu face parte din cursul

Introducere în Spark SQL în Python

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul

Acest exercițiu face parte din cursul

Introducere în Spark SQL în Python

SkillTag.level.advancedSkillTag.label

4.7+

Începe cursul gratuit

În acest capitol vei învăța cum să creezi și să interoghezi un tabel SQL în Spark. Spark SQL aduce expresivitatea SQL în Spark. Vei învăța, de asemenea, cum să folosești funcțiile de fereastră SQL în Spark. Funcțiile de fereastră efectuează calcule pe rânduri aflate în relație cu rândul curent. Acestea simplifică semnificativ obținerea unor rezultate care sunt dificil de exprimat folosind doar join-uri și agregări tradiționale. Vom folosi funcții de fereastră pentru a calcula sume cumulative, diferențe cumulative și alte operații dificil de realizat în SQL de bază.

Exercise 1: Crearea și interogarea unui tabel SQL în Spark Exercise 2: Creează o tabelă SQL dintr-un dataframe Exercise 3: Determină numele coloanelor unui tabel Exercise 4: SQL cu funcții de fereastră Exercise 5: Sume cumulative cu funcții de fereastră SQL Exercise 6: Corectează interogarea defectă Exercise 7: Notația cu punct și SQL Exercise 8: Agregare pas cu pas Exercise 9: Agregarea aceleiași coloane de două ori Exercise 10: Agregare cu notație punct vs. SQL Exercise 11: Convertește funcția de fereastră din notație cu punct în SQL

În acest capitol vei încărca text în limbaj natural. Apoi vei aplica o analiză cu fereastră mobilă pentru a identifica secvențe frecvente de cuvinte.

Exercise 1: Încărcarea textului în limbaj natural Exercise 2: Încărcarea unui dataframe dintr-un fișier parquet Exercise 3: Separă și extinde o coloană de text Exercise 4: Utilizarea funcției monotonically_increasing_id()Exercise 5: Analiza cu fereastră mobilă Exercise 6: Crearea datelor de caracteristici pentru fereastra de context Exercise 7: Repartiționarea datelor Exercise 8: Secvențe frecvente de cuvinte Exercise 9: Ce tip de date este acesta Exercise 10: Găsirea secvențelor frecvente de cuvinte Exercise 11: 5-tuple unice în ordine sortată Exercise 12: Cele mai frecvente 3-tuple per capitol

În capitolele anterioare ai învățat cum să folosești expresivitatea funcțiilor de fereastră SQL. Această expresivitate face acum important să înțelegi cum să stochezi corect în cache DataFrames și tabele SQL. Este, de asemenea, important să știi cum să evaluezi aplicația. Vei învăța să faci asta folosind interfața Spark UI. Vei învăța și o bună practică pentru logare în Spark. Spark SQL aduce cu sine un instrument util pentru optimizarea performanței interogărilor: planul de execuție a interogărilor. Vei învăța cum să folosești planul de execuție pentru a evalua proveniența unui DataFrame.

Exercise 1: Memorarea în cache Exercise 2: Exersarea stocării în cache: partea 1 Exercise 3: Exersăm caching-ul: SQL-ul Exercise 4: Exersăm caching-ul: totul împreună Exercise 5: Stocarea și eliminarea din cache a tabelelor Exercise 6: Interfața Spark UI Exercise 7: Fila Storage din Spark UI

Exercițiul curent

Exercise 8: Inspectarea cache-ului în Spark UI Exercise 9: Jurnalizare Exercise 10: Exersează jurnalizarea Exercise 11: Exersează jurnalizarea 2 Exercise 12: Planuri de interogare Exercise 13: Exersează planurile de interogare Exercise 14: Exersează citirea planurilor de interogare 2

Capitolele anterioare ți-au oferit instrumentele necesare pentru a încărca text brut, a-l tokeniza și a extrage secvențe de cuvinte. Acest lucru este deja foarte util pentru analiză, dar și pentru învățarea automată. Ceea ce ai învățat se reunește acum prin utilizarea regresiei logistice pentru clasificarea textului. La finalul acestui capitol, vei fi încărcat date brute de text în limbaj natural și le vei fi folosit pentru a antrena un clasificator de text.

Exercise 1: Extrage, transformă, selectează Exercise 2: Exersează crearea unui UDF Exercise 3: Lucrul cu coloane de tip array Exercise 4: Crearea datelor de caracteristici pentru clasificare Exercise 5: Crearea unui UDF pentru date de tip vector Exercise 6: Aplicarea unui UDF pe date de tip vector Exercise 7: Transformarea textului în format vectorial Exercise 8: Clasificarea textului Exercise 9: Etichetarea datelor Exercise 10: Împarte datele Exercise 11: Antrenează clasificatorul Exercise 12: Predicție și evaluare Exercise 13: Evaluează clasificatorul Exercise 14: Prezice datele de testare Exercise 15: Recapitulare