ÎncepețiÎncepe gratuit

Acasă
Cursuri
Scalarea și optimizarea pipeline-urilor de date cu Polars

Salvarea interogărilor mari pe disc

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Acest exercițiu face parte din cursul

Scalarea și optimizarea pipeline-urilor de date cu Polars

SkillTag.level.intermediateSkillTag.label

4.9+

Începe cursul gratuit

Învață să păstrezi interogările în modul lazy pentru o optimizare maximă, să citești și să interpretezi planurile de interogare și să deblochezi căi rapide cu ajutorul profilării și al datelor sortate.

Exercise 1: Execuția eficientă a interogărilor Exercise 2: Previzualizarea datelor în mod lazy Exercise 3: Rezumarea împrumuturilor digitale Exercise 4: Colectarea a două rapoarte simultan Exercise 5: Optimizare și planuri de interogare Exercise 6: Citirea planului naiv Exercise 7: Citirea planului optimizat Exercise 8: Ce face cu adevărat optimizarea interogărilor Exercise 9: Folosirea optimizării la maximum Exercise 10: Pivot lazy la format wide Exercise 11: Profilarea unei interogări lazy Exercise 12: Filtrare rapidă pe date sortate

Învață să citești și să scrii fișiere Parquet, să parsezi fișiere CSV complexe, să scanezi seturi de date din mai multe fișiere și partiții Hive și să interoghezi baze de date din Polars.

Exercise 1: Lucrul cu fișiere Parquet Exercise 2: Inspectarea schemei unui fișier Parquet Exercise 3: Rezumarea datelor din fișiere Parquet Exercise 4: Scrierea unui snapshot Parquet Exercise 5: Parsarea fișierelor CSV Exercise 6: Parsarea unui CSV dezordonat Exercise 7: Suprascrierea schemei inférate Exercise 8: Ignorarea erorilor de parsare Exercise 9: Lucrul cu seturi de date din mai multe fișiere Exercise 10: Scanarea mai multor fișiere Exercise 11: Inserarea coloanelor lipsă Exercise 12: Scanarea unui set de date partiționat hive Exercise 13: Lucrul cu baze de date Exercise 14: Citirea dintr-o bază de date SQLite cu un URI Exercise 15: Adăugarea de date într-un tabel SQLite de istoric Exercise 16: Interogarea DuckDB în Polars

Acest capitol acoperă lucrul cu coloane de tip List și Struct, codificarea șirurilor repetate ca tipuri de date Categorical și Enum, și reducerea consumului de memorie prin restrângerea tipurilor numerice.

Exercise 1: Lucrul cu date de tip array Exercise 2: Extragerea genului principal Exercise 3: Numărarea genurilor per film Exercise 4: Numărarea popularității genurilor Exercise 5: Lucrul cu coloane imbricate Exercise 6: Unnesting pentru production_country Exercise 7: Redenumirea câmpurilor de țară Exercise 8: Crearea unui dtype de tip Object Exercise 9: Utilizarea tipurilor de date Categorical și Enum Exercise 10: Crearea unei coloane Categorical Exercise 11: Folosirea unei expresii categoriale Exercise 12: Crearea unei coloane Enum Exercise 13: Reducerea presiunii asupra memoriei Exercise 14: Inspectarea intervalului numeric Exercise 15: Reducerea dimensiunii coloanelor numerice Exercise 16: Estimarea dimensiunii unui DataFrame

Învață să folosești motoarele de streaming și GPU, să scrii rezultatele unor interogări mari direct pe disc cu partiționare și să testezi pipeline-uri cu aserțiunile integrate din Polars.

Exercise 1: Lucrul cu motoarele de streaming și GPU Exercise 2: Utilizarea motorului de streaming Exercise 3: Procesarea rezultatelor interogărilor în loturi Exercise 4: Salvarea interogărilor mari pe disc

Exercițiul curent

Exercise 5: Scrierea unui extras curățat în Parquet Exercise 6: Multiplexarea sink-urilor Parquet Exercise 7: Utilizarea unui sink personalizat pentru loturi Exercise 8: Testarea pipeline-urilor Polars Exercise 9: Compararea DataFrame-urilor cu equals Exercise 10: Testarea schemelor Exercise 11: Testarea DataFrame-urilor complete Exercise 12: Felicitări!