Scopri come mantenere le query lazy per la massima ottimizzazione, leggere e interpretare i piani di query e sbloccare fast path con il profiling e i dati ordinati.

Esecuzione efficace delle query

Anteprima dei dati in modo lazy

Riepilogo dei prestiti digitali

Raccogliere due report insieme

Ottimizzazione e piani di query

Leggere il piano ingenuo

Leggere il piano ottimizzato

Cosa fa davvero l'ottimizzazione delle query

Sfruttare al massimo l'ottimizzazione

Pivot lazy in formato wide

Profilazione di una query lazy

Filtro fast-path su dati ordinati

Approfondimento sull'ottimizzazione delle query

Impara a leggere e scrivere file Parquet, a fare il parsing di CSV disordinati, a effettuare lo scan di insiemi di dati multifile e con partizioni hive e a interrogare database da Polars.

Lavorare con i file Parquet

Ispezionare uno schema Parquet

Riepilogare i dati Parquet

Scrivere uno snapshot Parquet

Analizzare i CSV

Parsing di un CSV disordinato

Sovrascrivere lo schema inferito

Ignorare gli errori di parsing

Lavorare con insiemi di dati multifile

Scansione di più file

Inserire colonne mancanti

Scansione di un dataset con partizionamento Hive

Lavorare con i database

Lettura da SQLite con una URI

Aggiungere righe a una tabella cronologica SQLite

Eseguire query da DuckDB a Polars

Input e output dei dati efficienti

Questo capitolo tratta il lavoro con colonne List e Struct, la codifica di stringhe ripetute come dtypes Categorical ed Enum e la riduzione dell'uso di memoria tramite downcasting numerico.

Gestire i dati in array

Estrazione del genere principale

Contare i generi per film

Conteggio della popolarità dei generi

Lavorare con colonne annidate

Unnesting di production_country

Rinominare i campi del paese

Creare un dtype Object

Uso dei tipi Categorical ed Enum

Creare una colonna Categorical

Usare un'espressione categorica

Creare una colonna Enum

Ridurre la pressione sulla memoria

Ispezionare l'intervallo numerico

Downcasting delle colonne numeriche

Stima della dimensione del DataFrame

Dtypes avanzati per analisi ottimali

Impara a usare i motori di streaming e GPU, a riversare direttamente su disco i risultati di query di grandi dimensioni con partizionamento e a testare le pipeline con le asserzioni integrate di Polars.

Lavorare con i motori di streaming e GPU

Usare il motore di streaming

Elaborare i risultati della query a batch

Scaricare su disco query di grandi dimensioni

Scrivere un extract pulito in Parquet

Multiplexing dei sink Parquet

Usare un sink personalizzato per i batch

Testare le pipeline in Polars

Confrontare DataFrame con equals

Testare gli schemi

Testare interi DataFrame

Congratulazioni!

Lavorare con Polars su larga scala

Movies

Library Checkouts

Library Checkouts (Large)

Porta le tue competenze con Polars a livello di produzione. Impara a leggere i piani di query e a sfruttare al massimo l'ottimizzatore, a lavorare in modo efficiente con sorgenti Parquet, CSV e database, e a usare dtypes avanzati come List, Struct, Categorical ed Enum. Inoltre, eseguirai in streaming query di grandi dimensioni su disco, elaborerai i dati in batch e costruirai pipeline testabili con asserzioni integrate. Alla fine sarai in grado di creare workflow di dati ad alte prestazioni in grado di gestire insiemi di dati di qualsiasi dimensione.

Data Transformation with Polars

Impara a ottimizzare, scalare e testare le pipeline di dati Polars per prestazioni pronte alla produzione.

Scalare e ottimizzare le pipeline di dati con Polars

Ottimizza, scala e testa pipeline dati Polars per prestazioni pronte per la produzione.

Uso dei tipi Categorical ed Enum

Create Your Free Account