Neste capítulo, você vai aprender o que é engenharia de dados e por que a demanda por esses profissionais está aumentando. Em seguida, vai descobrir onde a engenharia de dados se situa em relação ao ciclo de vida da ciência de dados, entender a diferença entre engenheiros de dados e cientistas de dados e ver uma introdução ao seu primeiro pipeline de dados completo.

Engenharia de dados e big data

Siga o fluxo

Não responsável

Grande momento

Engenheiros de dados x cientistas de dados

Diga-me a verdade

Quem é?

Pipeline de dados

Isso não é verdade

Pipeline

O que é engenharia de dados?

É hora de falar sobre armazenamento de dados – uma das principais responsabilidades de um engenheiro de dados. Neste capítulo, você aprenderá como os engenheiros de dados gerenciam diferentes estruturas de dados, trabalham em SQL- a linguagem de programação preferida para consultar e armazenar dados - e implementam soluções adequadas de armazenamento de dados com data lakes e data warehouses.

Estruturas de dados

Estruturas

Qual é a diferença?

SQL bancos de dados

Podemos resolver isso

Colunas

Raças diferentes

Data warehouses e data lakes

Diga a verdade

Nosso armazém (no meio da nossa rua)

Armazenamento de dados

Os engenheiros de dados facilitam a vida dos cientistas de dados preparando dados brutos para análise usando diferentes técnicas de processamento em diferentes etapas. Essas etapas precisam ser combinadas para criar pipelines, que é quando a automação entra em ação. Por fim, os engenheiros de dados usam computação paralela e em nuvem para manter os pipelines fluindo sem problemas.

Processamento de dados

Opções

Extrair

Transformar

Carregar

Ligue os pontos

Agendamento de dados

Manual

Tempo

Condição

Agendamento

Processamento em lote

Processamento em fluxo

Um ou outro

Computação paralela

Em qualquer ocasião

Certo

Errado

Universo paralelo

Computação em nuvem

Obscurecido por nuvens

Computação

Bancos de dados

Algum lugar onde me encaixo

Somos os vencedores

Movimentação e processamento de dados

Lexicon

Em 2019, o salário médio dos engenheiros de dados ultrapassou o dos cientistas de dados. Como isso aconteceu? As empresas que queriam encontrar ouro em seus dados perceberam que isso não seria possível se ainda não tivessem construído a mina. Os engenheiros de dados estabelecem a base que torna a ciência de dados possível.
<br /> <br />
Neste curso, você aprenderá sobre as principais responsabilidades de um engenheiro de dados, como ele facilita o fluxo de dados em uma organização e a diferença entre engenheiros de dados e cientistas de dados. Por meio de exercícios práticos, você acompanhará a Spotflix, uma empresa fictícia de streaming de música, para entender como seus engenheiros de dados coletam, limpam e catalogam seus dados. Ao final do curso, você vai entender o que os engenheiros de dados da sua empresa fazem, estar pronto para conversar com um engenheiro de dados e adquirir uma base sólida para iniciar a própria jornada como engenheiro de dados.


<h2> Entenda os fundamentos da engenharia de dados </h2>
<br>
Neste curso, você aprenderá sobre as principais responsabilidades de um engenheiro de dados, como ele facilita o fluxo de dados em uma organização e a diferença entre engenheiros de dados e cientistas de dados. Por meio de exercícios práticos, você acompanhará a Spotflix, uma empresa fictícia de streaming de música, para entender como seus engenheiros de dados coletam, limpam e catalogam seus dados. 
<br><br>
<h2> Aplicar em casos pessoais</h2>
<br>
Ao final do curso, você vai entender o que os engenheiros de dados da sua empresa fazem, estar pronto para conversar com um engenheiro de dados e adquirir uma base sólida para iniciar a própria jornada como engenheiro de dados.

Descubra como engenheiros de dados preparam o terreno para a ciência de dados. Sem programação!

Introdução à Engenharia de Dados

Descubra como os engenheiros de dados estabelecem as bases que tornam a ciência de dados possível. Você não precisa programar nada!

Engenheiro de dados associado em SQL

Compreensão dos tópicos de dados

Executar o pipeline de codificação de músicas, pois a engenharia alterou o codificador e quer garantir que elas ainda passem pela verificação de validação.

Gerando a lista de reprodução semanal do Spotflix do Capítulo 1 toda segunda-feira às 00:00 AM.

Processar vídeos de música carregados por artistas a cada hora.

Coletar dados do Google Analytics todas as manhãs para verificar o andamento da campanha promocional.

Fazer verificações de validação se novos vídeos estiverem sendo coletados.

Atualizar o número de seguidores na tabela de uma lista de reprodução depois que um usuário se inscreveu nela.

Agendamento

Introdução à Engenharia de Dados

Exercício interativo prático