Entenda por que o Great Expectations (GX) é uma ferramenta tão poderosa para monitorar a qualidade de dados. Familiarize-se com os conceitos básicos do GX, incluindo como iniciar uma sessão usando um Data Context e como carregar um dataframe do pandas usando um Data Source, Data Asset e Batch Definition. 

Criar um Data Context

Crie seu Data Context

Visão rápida do GX

Definições de palavras-chave

Conectar aos dados

Revisão de conceitos

Criar um Data Source e um Data Asset

Ler dados em lotes

Crie uma Batch Definition e um Batch

Inspecione seu Batch

Conectando-se aos dados

Crie e avalie Expectations básicas de formato e esquema. Valide suas Expectations individualmente, como parte de uma Expectation Suite com uma Batch Definition ou usando uma Validation Definition.

Criar Expectations

Defina uma Expectation de contagem de colunas

Avaliar os resultados da validação

Expectations de Esquema

Estabeleça uma Expectation de nome de coluna

Estabelecer uma Expectation de Intervalo de Colunas

Criar um conjunto de Expectations

Crie uma Expectation Suite

Valide sua Expectation Suite

Validar conjuntos de Expectations

Crie e execute uma Validation Definition

Validation Definition vs. Batch Definition

Definindo Expectations

Aprenda habilidades práticas que vão ajudar você a dominar a natureza dinâmica das Expectations no mundo real. Faça o deploy de Validation Definitions usando Checkpoints; atualize suas Expectation Suites; e saiba como adicionar, recuperar, listar e excluir componentes-chave do GX.

Implantar Validation Definitions

Opções

Checkpoint

Action

Data Docs

Verificação de conceito

Criar um Checkpoint

Atualizar Expectation Suites

Copiar uma Expectation

Excluir uma Expectation

Atualizar uma Expectation

Gerenciar componentes

Adicionar e listar componentes

Gerenciar um Checkpoint

GX na prática

Mergulhe de cabeça no mundo das Expectations. Pratique a criação de Expectations básicas de coluna, Expectations numéricas em nível de linha e agregação, Expectations de string e de parseabilidade de string, e mais. Aprenda a aplicar Expectations apenas a algumas linhas de um dataframe.

Expectativas Básicas de Coluna

Defina Expectations no nível de linha

Defina Expectations em nível agregado

Expectativas Específicas por Tipo

Defina Expectations numéricas

Definir Expectations para strings

Expectations condicionais

Escreva uma Expectation condicional

Inverta uma Expectativa Condicional

Encerramento

Tudo sobre Expectations

weather_new.csv

movie_dataset.csv

life_expectancy.csv

renewable_new.csv

shein_footwear_clean.csv

Great Expectations é uma poderosa biblioteca Python para monitorar a qualidade de dados em fluxos de trabalho de data science e engenharia de dados. Aprenda a conectar conjuntos de dados do mundo real, aplicar, editar e excluir Expectations, e criar pipelines para validar novos conjuntos de dados em produção. Você vai explorar Expectations para colunas numéricas e de strings e escrever validações entre colunas. Ao final, você garantirá com confiança que seus dados atendem aos padrões de qualidade.

Great Expectations é uma ferramenta poderosa para monitorar a qualidade dos dados em fluxos de trabalho de ciência de dados e engenharia de dados. A plataforma pode ser facilmente integrada ao Python, tornando-a uma biblioteca útil para os usuários do Python dominarem.

No centro do Great Expectations estão as Expectativas, ou afirmações que você gostaria de verificar sobre seus dados. Você vai começar esse curso aprendendo como se conectar a conjuntos de dados do mundo real e aplicar Expectativas a eles. Você vai aprender a recuperar, editar, excluir Expectativas e criar pipelines para aplicar Expectativas a novos conjuntos de dados em uma implantação de produção.

Por fim, você vai aprender sobre tipos específicos de Expectativas, como para colunas numéricas e de string, e como escrever Expectativas de uma coluna dependendo dos valores de outras colunas.

Ao final deste curso, você vai ter uma base sólida na biblioteca Python Great Expectations. Você vai poder usar as principais funcionalidades da plataforma para monitorar a qualidade dos seus dados e vai poder usar seus dados com a certeza de que eles atendem aos seus padrões de qualidade.

Data Manipulation with pandas

Garanta alta qualidade de dados em fluxos de ciência e engenharia de dados com a biblioteca Great Expectations.

Introdução à Qualidade de Dados com Great Expectations

Garanta uma alta qualidade dos dados nos fluxos de trabalho de ciência de dados e engenharia de dados com a biblioteca Great Expectations do Python.

Engenheiro de machine learning

Um objeto que agrupa Validation Definitions e as executa com parâmetros compartilhados

Um componente configurável em Checkpoints que integra o Great Expectations a outras ferramentas com base em um Validation Result

Site estático gerado a partir dos metadados do Great Expectations, detalhando Expectations, Validation Results, etc.

Verificação de conceito

Introdução à Qualidade de Dados com Great Expectations

exercicio interativo prático