Get ready to discover how data is collected, processed, and moved using data pipelines. You will explore the qualities of the best data pipelines, and prepare to design and build your own.

Introduction to ETL and ELT Pipelines

Running an ETL Pipeline

ELT in Action

ETL and ELT Pipelines

Building ETL and ELT Pipelines

Building an ETL Pipeline

The "T" in ELT

Extracting, Transforming, and Loading Student Scores Data

Introduction to Data Pipelines

Dive into leveraging pandas to extract, transform, and load data as you build your first data pipelines. Learn how to make your ETL logic reusable, and apply logging and exception handling to your pipelines.

Extracting data from structured sources

Extracting data from parquet files

Pulling data from SQL databases

Building functions to extract data

Transforming data with pandas

Filtering pandas DataFrames

Transforming sales data with pandas

Validating data transformations

Persisting data with pandas

Loading sales data to a CSV file

Customizing a CSV file

Persisting data to files

Monitoring a data pipeline

Logging within a data pipeline

Handling exceptions when loading data

Monitoring and alerting within a data pipeline

Building ETL Pipelines

Supercharge your workflow with advanced data pipelining techniques, such as working with non-tabular data and persisting DataFrames to SQL databases. Discover tooling to tackle advanced transformations with pandas, and uncover best-practices for working with complex data.

Extracting non-tabular data

Ingesting JSON data with pandas

Reading JSON data into memory

Transforming non-tabular data

Iterating over dictionaries

Parsing data from dictionaries

Transforming JSON data

Transforming and cleaning DataFrames

Advanced data transformation with pandas

Filling missing values with pandas

Grouping data with pandas

Applying advanced transformations to DataFrames

Loading data to a SQL database with pandas

Loading data to a Postgres database

Validating data loaded to a Postgres Database

Advanced ETL Techniques

In this final chapter, you’ll create frameworks to validate and test data pipelines before shipping them into production. After you’ve tested your pipeline, you’ll explore techniques to run your data pipeline end-to-end, all while allowing for visibility into pipeline performance.

Teste manual de um pipeline de dados

Teste de pipelines de dados

Validação de um pipeline de dados em "pontos de verificação"

Teste de um pipeline de dados de ponta a ponta

Teste de unidade de um pipeline de dados

Validando um pipeline de dados com assert

Escrevendo testes de unidade com o pytest

Criando acessórios com o pytest

Teste de unidade de um pipeline de dados com acessórios

Executar um pipeline de dados na produção

Ferramentas de orquestração e ETL

Padrões de arquitetura de pipeline de dados

Execução de um pipeline de dados de ponta a ponta

Parabéns!

Deploying and Maintaining a Data Pipeline

scores.csv

schools_modified.csv

amazon_sales_cleaned_sql.csv

tax_rate_cleaned.csv

Course Glossary

Pipelines de dados são a base de toda plataforma de dados robusta. Criá-las é uma habilidade essencial para engenheiros de dados, que entregam enorme valor a empresas prontas para dar o próximo passo rumo a um futuro orientado por dados. Este curso introdutório vai ajudar você a desenvolver as habilidades para construir pipelines de dados eficazes, eficientes e confiáveis.

Os vídeos têm transcrições ao vivo que você pode exibir clicando em "Show transcript" no canto inferior esquerdo dos vídeos.
O glossário do curso está à direita, na seção de recursos.
Para obter créditos de CPE, você precisa concluir o curso e atingir 70% na avaliação qualificada. Você pode acessar a avaliação clicando no aviso de créditos de CPE à direita.

<p><h2>Capacitando a análise com pipelines de dados</h2>
Os pipelines de dados são a base de toda plataforma de dados sólida. A criação desses pipelines é uma habilidade essencial para os engenheiros de dados, que fornecem um valor incrível para uma empresa pronta para entrar em um futuro orientado por dados. Este curso introdutório ajudará você a aprimorar as habilidades para criar pipelines de dados eficazes, eficientes e confiáveis.</p>

<p><h2>Criação e manutenção de soluções ETL</h2>
Ao longo deste curso, você mergulhará no processo completo de criação de um pipeline de dados. Você desenvolverá suas habilidades utilizando bibliotecas Python, como <code>pandas</code> e <code>json</code>, para extrair dados de fontes estruturadas e não estruturadas antes de serem transformados e mantidos para uso posterior. Ao longo do caminho, você desenvolverá ferramentas e técnicas de confiança, como diagramas de arquitetura, testes unitários e monitoramento, que ajudarão a diferenciar seus pipelines de dados dos demais. À medida que progredir, você colocará suas novas habilidades à prova com exercícios práticos.</p>

<p><h2>Superalimente os fluxos de trabalho de dados</h2>
Após concluir este curso, você estará pronto para projetar, desenvolver e usar pipelines de dados para turbinar o fluxo de trabalho de dados em seu emprego, nova carreira ou projeto pessoal.</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

Aprenda a criar pipelines de dados eficazes e confiáveis usando os princípios de ETL.

ETL e ELT em Python

Aprenda a criar pipelines de dados eficazes, eficientes e confiáveis usando os princípios de extração, transformação e carregamento.

Parabéns!

Create Your Free Account