Aprenda a manter consultas em modo lazy para máxima otimização, ler e interpretar planos de consulta e destravar fast paths com profiling e dados ordenados.

Execução eficaz de consultas

Pré-visualizando os dados de forma preguiçosa

Resumindo empréstimos digitais

Coletando dois relatórios juntos

Otimização e planos de consulta

Lendo o plano ingênuo

Lendo o plano otimizado

O que a otimização de consultas realmente faz

Usando a otimização ao máximo

Pivot lazy para formato wide

Fazendo profiling de uma consulta lazy

Filtro fast-path em dados ordenados

Mergulho profundo em otimização de consultas

Aprenda a ler e gravar arquivos Parquet, analisar CSVs com ruído, fazer scan de conjuntos de dados multifile e com partição estilo hive, e consultar bancos de dados a partir do Polars.

Trabalhando com arquivos Parquet

Inspecionando um schema Parquet

Resumindo dados Parquet

Gravando um snapshot em Parquet

Analisando CSVs

Analisando um CSV bagunçado

Sobrescrevendo o schema inferido

Ignorando erros de parsing

Trabalhando com conjuntos de dados multifile

Fazendo scan de vários arquivos

Inserindo colunas ausentes

Fazendo scan de um conjunto de dados particionado em Hive

Trabalhando com bancos de dados

Lendo do SQLite com uma URI

Acrescentando a uma tabela de histórico SQLite

Consultando o DuckDB no Polars

Entrada e saída de dados eficientes

Este capítulo aborda como trabalhar com colunas List e Struct, codificar strings repetidas como dtypes Categorical e Enum e reduzir o uso de memória por meio de downcasting numérico.

Manipulando dados de arrays

Extraindo o gênero principal

Contando gêneros por filme

Contando a popularidade dos gêneros

Trabalhando com colunas aninhadas

Fazendo unnest de production_country

Renomeando os campos de país

Criando um dtype Object

Usando os dtypes Categorical e Enum

Criando uma coluna Categorical

Usando uma expressão categórica

Criando uma coluna Enum

Reduzindo a pressão de memória

Inspecionando o intervalo numérico

Reduzindo a largura de colunas numéricas

Estimando o tamanho do DataFrame

Dtypes avançados para análise ideal

Aprenda a usar os engines de streaming e GPU, direcionar grandes Resultados da consulta diretamente para o disco com particionamento e testar pipelines com as asserções integradas do Polars.

Trabalhando com os mecanismos de streaming e GPU

Usando o mecanismo de streaming

Processando resultados de consultas em lotes

Gravando consultas grandes em disco

Gravando um extrato limpo em Parquet

Multiplexando sinks de Parquet

Usando um coletor de lotes personalizado

Testando pipelines do Polars

Comparando DataFrames com equals

Testando esquemas

Testando DataFrames completos

Parabéns!

Trabalhando com Polars em escala

Movies

Library Checkouts

Library Checkouts (Large)

Leve suas habilidades em Polars para produção. Aprenda a ler planos de consulta e explorar todo o potencial do otimizador, trabalhe com eficiência com fontes Parquet, CSV e bancos de dados, e aproveite dtypes avançados como List, Struct, Categorical e Enum. Você também vai transmitir grandes consultas para o disco, processar dados em lotes e criar pipelines testáveis com asserções integradas. Ao final, você estará pronto para construir fluxos de dados de alto desempenho que lidam com conjuntos de dados de qualquer tamanho.

Data Transformation with Polars

Aprenda a otimizar, escalar e testar pipelines de dados Polars para desempenho em produção.

Dimensionamento e Otimização de Pipelines de Dados com Polars

Aprenda a otimizar, escalar e testar pipelines de dados Polars para desempenho pronto para produção.

Reduzindo a pressão de memória

Create Your Free Account