Neste capítulo, você vai aprender o que é engenharia de dados e por que a demanda por esses profissionais está aumentando. Em seguida, vai descobrir onde a engenharia de dados se situa em relação ao ciclo de vida da ciência de dados, entender a diferença entre engenheiros de dados e cientistas de dados e ver uma introdução ao seu primeiro pipeline de dados completo.

Engenharia de dados e big data

Fluxo de trabalho na ciência de dados

Siga o fluxo

Alternativas

Tarefas de engenharia de dados

Não são tarefas de engenharia de dados

Não responsável

Verdadeiro

Falso

Grande momento

Engenheiros de dados x cientistas de dados

Fale a verdade

Engenheiro de dados

Cientista de dados

Quem é?

Pipeline de dados

Isso não é verdade

Pipeline

O que é engenharia de dados?

É hora de falar sobre armazenamento de dados – uma das principais responsabilidades de um engenheiro de dados. Neste capítulo, você vai aprender como os engenheiros de dados gerenciam diferentes estruturas de dados, trabalham com SQL – a linguagem de programação preferida para consultar e armazenar dados – e implementam soluções adequadas de armazenamento de dados com data lakes e data warehouses.

Estruturas de dados

Estruturas

Qual é a diferença?

Bancos de dados SQL

Podemos resolver isso

Colunas

Raças diferentes

Data warehouses e data lakes

Diga a verdade

Nosso armazém (no meio da nossa rua)

Armazenamento de dados

Os engenheiros de dados facilitam a vida dos cientistas de dados preparando dados brutos para análise usando diferentes técnicas de processamento em diferentes etapas. Essas etapas precisam ser combinadas para criar pipelines, que é quando a automação entra em ação. Por fim, os engenheiros de dados usam computação paralela e em nuvem para manter os pipelines fluindo sem problemas.

Processamento de dados

Ligue os pontos

Agendamento de dados

Agendamento

Um ou outro

Computação paralela

Em qualquer ocasião

Universo paralelo

Computação em nuvem

Obscurecido por nuvens

Algum lugar onde me encaixo

Somos os vencedores

Movimentação e processamento de dados

Lexicon

Course Glossary: Understanding Data Engineering

Em 2019, o salário médio dos engenheiros de dados ultrapassou o dos cientistas de dados. Como isso aconteceu? As empresas que queriam encontrar ouro em seus dados perceberam que isso não seria possível se ainda não tivessem construído a mina. Os engenheiros de dados estabelecem a base que torna a ciência de dados possível.
<br /> <br />
Neste curso, você aprenderá sobre as principais responsabilidades de um engenheiro de dados, como ele viabiliza o fluxo de dados em uma organização e a diferença entre engenheiros de dados e cientistas de dados. Por meio de exercícios práticos, você acompanhará a Spotflix, uma empresa fictícia de streaming de música, para entender como seus engenheiros de dados coletam, limpam e catalogam seus dados. Ao final do curso, você vai entender o que os engenheiros de dados da sua empresa fazem, estar pronto para conversar com um engenheiro de dados e adquirir uma base sólida para iniciar a própria jornada como engenheiro de dados.

Os vídeos têm transcrições ao vivo, que podem ser acessadas clicando em “Mostrar transcrição” no canto inferior esquerdo dos vídeos.

O glossário do curso está à direita, na seção de recursos.

Para obter créditos de CPE, você precisa concluir o curso e atingir uma pontuação de 70% na avaliação de qualificação. Você pode acessar a avaliação clicando na chamada de créditos CPE à direita.

<h2> Entenda os fundamentos da engenharia de dados </h2>
<br>
Neste curso, você aprenderá sobre as principais responsabilidades de um engenheiro de dados, como ele facilita o fluxo de dados em uma organização e a diferença entre engenheiros de dados e cientistas de dados. Por meio de exercícios práticos, você acompanhará a Spotflix, uma empresa fictícia de streaming de música, para entender como seus engenheiros de dados coletam, limpam e catalogam seus dados. 
<br><br>
<h2> Aplicar em casos pessoais</h2>
<br>
Ao final do curso, você vai entender o que os engenheiros de dados da sua empresa fazem, estar pronto para conversar com um engenheiro de dados e adquirir uma base sólida para iniciar a própria jornada como engenheiro de dados.

Descubra como engenheiros de dados preparam o terreno para a ciência de dados. Sem programação!

Introdução à Engenharia de Dados

Descubra como os engenheiros de dados estabelecem as bases que tornam a ciência de dados possível. Sem programação!

Engenheiro de dados associado em SQL

Analista de Dados no Databricks

Compreensão dos tópicos de dados

Garantir que as pessoas que usam os bancos de dados não possam apagar vídeos de música por engano.

Disponibilizar dados das sessões de escuta para que possam ser analisados com o mínimo de trabalho de preparação.

Usar Java para criar um pipeline que colete capas de álbuns e as armazene.

Identificar quais clientes provavelmente vão cancelar a assinatura da Spotflix, para que o marketing possa abordá-las e incentivá-las a renovar a assinatura.

Descobrir em quais países determinados artistas fazem sucesso para dar a eles informações sobre onde fazer a turnê.

Usar o Python para executar uma análise a fim de identificar se os usuários preferem a barra de pesquisa no canto superior esquerdo ou direito do aplicativo Spotflix para computador.

Quem é?

Introdução à Engenharia de Dados

exercicio interativo prático