Neste primeiro capítulo, você conhecerá o mundo da engenharia de dados! Explore as diferenças entre um engenheiro de dados e um cientista de dados, obtenha uma visão geral das várias ferramentas que os engenheiros de dados usam e amplie sua compreensão de como a tecnologia de nuvem desempenha um papel na engenharia de dados. 

O que é engenharia de dados?

Tarefas do engenheiro de dados

Você é engenheiro de dados ou cientista de dados?

Problemas de engenharia de dados

Ferramentas do engenheiro de dados

Tipos de bancos de dados

Tarefas de processamento

Ferramentas de agendamento

Provedores de nuvem

Por que a computação em nuvem?

Grandes participantes da computação em nuvem

Serviços em nuvem

Introdução à engenharia de dados

Agora que você conhece as principais diferenças entre um engenheiro de dados e um cientista de dados, prepare-se para explorar a caixa de ferramentas do engenheiro de dados! Aprenda em detalhes sobre os diferentes tipos de bancos de dados que os engenheiros de dados usam, como a computação paralela é uma pedra angular do kit de ferramentas do engenheiro de dados e como agendar trabalhos de processamento de dados usando estruturas de agendamento.

Bancos de dados

SQL vs NãoSQL

O esquema do banco de dados

Unir-se em relações

Diagrama de esquema em estrela

O que é computação paralela

Por que a computação paralela?

De tarefa para subtarefas

Usando um DataFrame

Estruturas de computação paralela

Spark, Hadoop e Hive

Um grupo do PySpark

Executando arquivos do PySpark

Estruturas de agendamento de fluxo de trabalho

Fluxo de ar, Luigi e cron

Fluxo de ar DAGs

Caixa de ferramentas de engenharia de dados

Depois de conhecer a caixa de ferramentas dos engenheiros de dados, chegou a hora de você começar a trabalhar no fluxo de trabalho de um engenheiro de dados! Com o ETL, você aprenderá a extrair dados brutos de várias fontes, transformá-los em insights acionáveis e carregá-los em bancos de dados relevantes, prontos para consumo! 

Extrair

Fontes de dados

Obter de um API

Ler de um banco de dados

Transformar

Divisão da taxa de aluguel

Prepare-se para as transformações

Juntar-se a classificações

Carregamento

OLAP ou OLTP

Gravação em um arquivo

Carregar no Postgres

Juntando tudo

Definição de um DAG

Configuração do fluxo de ar

Interpretando o DAG

Extrair, transformar e carregar (ETL)

Termine tudo o que você aprendeu nos três capítulos anteriores concluindo um caso de uso de engenharia de dados do mundo real do DataCamp! Você executará e programará um processo ETL que transforma dados brutos de classificação de cursos em recomendações de cursos acionáveis para os alunos do DataCamp! 

Classificações do curso

Explorando o esquema

Consultando a tabela

Classificação média por curso

De classificações a recomendações

Filtrar dados corrompidos

Usando a transformação de recomendação

Agendamento de trabalhos diários

A tabela de destino

Definindo o DAG

Ativar o DAG

Consultando as recomendações

Parabéns a você

Estudo de caso: DataCamp

datacamp_application.sql

Você já ouviu as pessoas falarem sobre engenheiros de dados e se perguntou o que eles fazem? Você sabe o que os engenheiros de dados fazem, mas não tem certeza de como se tornar um? Este curso é a introdução perfeita para você. Ele aborda tudo o que você precisa saber para otimizar o processamento de dados. Este curso introdutório dará a você contexto suficiente para começar a explorar o mundo da engenharia de dados. Ele é perfeito para pessoas que trabalham em uma empresa com várias fontes de dados e não têm uma ideia clara de como usar todas essas fontes de dados de forma escalonável. Seja o primeiro a introduzir essas técnicas em sua empresa e torne-se o funcionário estrela da empresa.

<h2>Comece a trabalhar com engenharia de dados</h2> 
Você tem curiosidade de seguir uma carreira em engenharia de dados, mas não sabe por onde começar? Ou talvez você queira mais informações sobre o que os engenheiros de dados fazem antes de dar os próximos passos? Este curso de quatro horas é uma introdução à engenharia de dados e aos principais conceitos, técnicas e ferramentas que você precisa entender para fazer o trabalho.
<br><br> 
<h2>Aprenda os conceitos e as técnicas de engenharia de dados</h2> 
Você começará aprendendo as diferenças entre um engenheiro de dados e um cientista de dados (e como eles trabalham juntos) antes de saber mais sobre as ferramentas do ofício, falando especificamente sobre computação em nuvem e computação paralela. Ao final do segundo capítulo, você entenderá as aplicações de SQL e NoSQL, usando DataFrames, e por que a computação paralela é tão importante.
<br><br> 
<h2>Executar ETL em exercícios práticos</h2> 
O processo de ETL é essencial para o fluxo de trabalho de um engenheiro de dados. Você aprenderá como os dados são extraídos, transformados e carregados para prepará-los para análise e geração de insights. Ao final do curso, você colocará todo esse conhecimento em prática executando e programando um processo de ETL usando dados reais.
<br><br> 
Nossos exercícios e testes interativos permitem que você revise e consolide seus novos conhecimentos, para que tenha confiança para discuti-los e aplicá-los depois de receber sua Declaração de Realização.
<br><br> 
Este curso introdutório faz parte de uma trilha de engenharia de dados, que oferece a você caminhos para melhorar sua compreensão da engenharia de dados e um conjunto claro das próximas etapas para se tornar um engenheiro de dados profissional.

Intermediate Python

Intermediate SQL

Dê o primeiro passo para se tornar um engenheiro de dados. Aprenda em um curso de quatro horas.

Aprenda sobre engenharia de dados neste curso curto, cobrindo ETL e computação em nuvem.