Začněte nyníZačněte zdarma

Domů
Kurzy
Scaling and Optimizing Data Pipelines with Polars

Snižování nároků na paměť

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Toto cvičení je součástí kurzu

Scaling and Optimizing Data Pipelines with Polars

SkillTag.level.intermediateSkillTag.label

4.9+

Začněte kurz zdarma

Zjisti, jak udržovat dotazy líné (lazy) pro maximální optimalizaci, jak číst a interpretovat plány dotazů a jak odemknout rychlé cesty pomocí profilování a seřazených dat.

Exercise 1: Efektivní spouštění dotazů Exercise 2: Líný náhled na data Exercise 3: Shrnutí digitálních výpůjček Exercise 4: Společné vyhodnocení dvou reportů Exercise 5: Optimalizace a plány dotazů Exercise 6: Čtení naivního plánu Exercise 7: Čtení optimalizovaného plánu Exercise 8: Co optimalizace dotazů skutečně dělá Exercise 9: Optimalizace na plný výkon Exercise 10: Lazy pivot do širokého formátu Exercise 11: Profilování lazy dotazu Exercise 12: Rychlé filtrování seřazených dat

Naučíš se číst a zapisovat soubory Parquet, parsovat nepravidelné CSV soubory, pracovat s vícesouborovými a hive-particionovanými datasety a dotazovat databáze přímo z Polars.

Exercise 1: Práce se soubory Parquet Exercise 2: Prozkoumání schématu souboru Parquet Exercise 3: Sumarizace dat z Parquet souboru Exercise 4: Zápis snímku do formátu Parquet Exercise 5: Parsování CSV souborů Exercise 6: Zpracování nepřehledného CSV souboru Exercise 7: Přepsání odvozeného schématu Exercise 8: Ignorování chyb při parsování Exercise 9: Práce s vícesouborovými datovými sadami Exercise 10: Načítání více souborů najednou Exercise 11: Doplnění chybějících sloupců Exercise 12: Skenování hive-partitioned datasetu Exercise 13: Práce s databázemi Exercise 14: Čtení z SQLite pomocí URI Exercise 15: Přidání záznamů do historické tabulky SQLite Exercise 16: Dotazování DuckDB s převodem do Polars

Tato kapitola se věnuje práci se sloupci typu List a Struct, kódování opakujících se řetězců pomocí datových typů Categorical a Enum a snižování paměťových nároků prostřednictvím zúžení číselných typů.

Exercise 1: Práce s polem dat Exercise 2: Extrakce hlavního žánru Exercise 3: Počítání žánrů pro každý film Exercise 4: Počítání popularity žánrů Exercise 5: Práce s vnořenými sloupci Exercise 6: Unnesting sloupce production_country Exercise 7: Přejmenování polí s informacemi o zemi Exercise 8: Vytvoření dtype Object Exercise 9: Použití datových typů Categorical a Enum Exercise 10: Vytvoření sloupce typu Categorical Exercise 11: Použití kategorického výrazu Exercise 12: Vytvoření sloupce typu Enum Exercise 13: Snižování nároků na paměť

Aktuální cvičení

Exercise 14: Kontrola rozsahu číselných hodnot Exercise 15: Downcastování numerických sloupců Exercise 16: Odhad velikosti DataFrame

Naučíš se používat streamovací a GPU engine, ukládat výsledky velkých dotazů přímo na disk s particionováním a testovat pipeline pomocí vestavěných kontrolních mechanismů Polars.

Exercise 1: Práce se streamovacím enginem a GPU enginem Exercise 2: Použití streamovacího enginu Exercise 3: Zpracování výsledků dotazu po dávkách Exercise 4: Ukládání velkých dotazů na disk Exercise 5: Uložení vyčištěného extraktu do Parquetu Exercise 6: Multiplexování Parquet sinků Exercise 7: Použití vlastního batch sinku Exercise 8: Testování Polars pipeline Exercise 9: Porovnávání DataFramů pomocí equals Exercise 10: Testování schémat Exercise 11: Testování celých DataFramů Exercise 12: Gratulujeme!