Este exercício faz parte do curso
Prepare-se para descobrir como os dados são coletados, processados e movidos usando pipelines de dados. Você explorará as qualidades dos melhores pipelines de dados e se preparará para projetar e criar o seu próprio pipeline.
Exercício atual
Mergulhe no uso do pandas para extrair, transformar e carregar dados enquanto você cria seus primeiros pipelines de dados. Saiba como tornar a lógica do ETL reutilizável e aplicar o registro e o tratamento de exceções aos pipelines.
Incremente seu fluxo de trabalho com técnicas avançadas de pipelining de dados, como o trabalho com dados não tabulares e a persistência de DataFrames em bancos de dados SQL. Descubra ferramentas para lidar com transformações avançadas com pandas e descubra as práticas recomendadas para trabalhar com dados complexos.
Neste capítulo final, você criará estruturas para validar e testar pipelines de dados antes de enviá-los para a produção. Depois de testar o pipeline, você explorará técnicas para executar o pipeline de dados de ponta a ponta, permitindo a visibilidade do desempenho do pipeline.