Neste capítulo, você vai aprender o que é engenharia de dados e por que a demanda por esses profissionais está aumentando. Em seguida, vai descobrir onde a engenharia de dados se situa em relação ao ciclo de vida da ciência de dados, entender a diferença entre engenheiros de dados e cientistas de dados e ver uma introdução ao seu primeiro pipeline de dados completo.

Engenharia de dados e big data

Siga o fluxo

Não responsável

Grande momento

Engenheiros de dados x cientistas de dados

Fale a verdade

Quem é?

Pipeline de dados

Isso não é verdade

Pipeline

O que é engenharia de dados?

É hora de falar sobre armazenamento de dados – uma das principais responsabilidades de um engenheiro de dados. Neste capítulo, você vai aprender como os engenheiros de dados gerenciam diferentes estruturas de dados, trabalham com SQL – a linguagem de programação preferida para consultar e armazenar dados – e implementam soluções adequadas de armazenamento de dados com data lakes e data warehouses.

Estruturas de dados

Estruturas

Qual é a diferença?

Bancos de dados SQL

Podemos resolver isso

Colunas

Raças diferentes

Data warehouses e data lakes

Diga a verdade

Nosso armazém (no meio da nossa rua)

Armazenamento de dados

Os engenheiros de dados facilitam a vida dos cientistas de dados preparando dados brutos para análise usando diferentes técnicas de processamento em diferentes etapas. Essas etapas precisam ser combinadas para criar pipelines, que é quando a automação entra em ação. Por fim, os engenheiros de dados usam computação paralela e em nuvem para manter os pipelines fluindo sem problemas.

Processamento de dados

Alternativas

Extrair

Transformar

Carregar

Ligue os pontos

Agendamento de dados

Manual

Tempo

Condição

Agendamento

Processamento em lote

Processamento em fluxo

Um ou outro

Computação paralela

Em qualquer ocasião

Certo

Errado

Universo paralelo

Computação em nuvem

Obscurecido por nuvens

Computação

Bancos de dados

Algum lugar onde me encaixo

Somos os vencedores

Movimentação e processamento de dados

Lexicon

Course Glossary: Understanding Data Engineering

Em 2019, o salário médio dos engenheiros de dados ultrapassou o dos cientistas de dados. Como isso aconteceu? As empresas que queriam encontrar ouro em seus dados perceberam que isso não seria possível se ainda não tivessem construído a mina. Os engenheiros de dados estabelecem a base que torna a ciência de dados possível.
<br /> <br />
Neste curso, você aprenderá sobre as principais responsabilidades de um engenheiro de dados, como ele viabiliza o fluxo de dados em uma organização e a diferença entre engenheiros de dados e cientistas de dados. Por meio de exercícios práticos, você acompanhará a Spotflix, uma empresa fictícia de streaming de música, para entender como seus engenheiros de dados coletam, limpam e catalogam seus dados. Ao final do curso, você vai entender o que os engenheiros de dados da sua empresa fazem, estar pronto para conversar com um engenheiro de dados e adquirir uma base sólida para iniciar a própria jornada como engenheiro de dados.

Os vídeos têm transcrições ao vivo, que podem ser acessadas clicando em “Mostrar transcrição” no canto inferior esquerdo dos vídeos.

O glossário do curso está à direita, na seção de recursos.

Para obter créditos de CPE, você precisa concluir o curso e atingir uma pontuação de 70% na avaliação de qualificação. Você pode acessar a avaliação clicando na chamada de créditos CPE à direita.

<h2> Entenda os fundamentos da engenharia de dados </h2>
<br>
Neste curso, você aprenderá sobre as principais responsabilidades de um engenheiro de dados, como ele facilita o fluxo de dados em uma organização e a diferença entre engenheiros de dados e cientistas de dados. Por meio de exercícios práticos, você acompanhará a Spotflix, uma empresa fictícia de streaming de música, para entender como seus engenheiros de dados coletam, limpam e catalogam seus dados. 
<br><br>
<h2> Aplicar em casos pessoais</h2>
<br>
Ao final do curso, você vai entender o que os engenheiros de dados da sua empresa fazem, estar pronto para conversar com um engenheiro de dados e adquirir uma base sólida para iniciar a própria jornada como engenheiro de dados.

Descubra como engenheiros de dados preparam o terreno para a ciência de dados. Sem programação!

Introdução à Engenharia de Dados

Descubra como os engenheiros de dados estabelecem as bases que tornam a ciência de dados possível. Sem programação!

Engenheiro de dados associado em SQL

Analista de Dados no Databricks

Compreensão dos tópicos de dados

Executar o pipeline de codificação de músicas, pois a engenharia alterou o codificador e quer garantir que elas ainda passem na verificação de validação.

Gerar a lista de reprodução semanal da Spotflix a partir do Capítulo 1 toda segunda-feira às 00:00.

Processar vídeos de música carregados por artistas a cada hora.

Coletar dados do Google Analytics todas as manhãs para verificar o andamento da campanha promocional.

Fazer verificações de validação se novos vídeos estiverem sendo coletados.

Atualizar o número de seguidores na tabela de uma lista de reprodução depois que um usuário se inscreveu nela.

Agendamento

Introdução à Engenharia de Dados

exercicio interativo prático