In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

What is data engineering?

Tasks of the data engineer

Data engineer or data scientist?

Data engineering problems

Tools of the data engineer

Kinds of databases

Processing tasks

Scheduling tools

Cloud providers

Why cloud computing?

Big players in cloud computing

Cloud services

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Databases

SQL vs NoSQL

The database schema

Joining on relations

Star schema diagram

What is parallel computing

Why parallel computing?

From task to subtasks

Using a DataFrame

Parallel computation frameworks

Spark, Hadoop and Hive

A PySpark groupby

Running PySpark files

Workflow scheduling frameworks

Airflow, Luigi and cron

Airflow DAGs

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Avaliações de cursos

Explorando o esquema

Consultando a tabela

Avaliação média por curso

Das avaliações às recomendações

Filtrar dados corrompidos

Usando a transformação do sistema de recomendação

Agendando tarefas diárias

A tabela de destino

Definindo a DAG

Ativar o DAG

Consultando as recomendações

Parabéns

Case Study: DataCamp

datacamp_application.sql

Você já ouviu falar sobre engenheiros de dados e ficou se perguntando o que exatamente eles fazem? Você sabe o que engenheiros de dados fazem, mas não tem certeza de como se tornar um? Este curso é a introdução perfeita. Ele aborda tudo o que você precisa saber para otimizar o processamento dos seus dados. Este curso introdutório vai dar contexto suficiente para você começar a explorar o mundo da engenharia de dados. É ideal para quem trabalha em uma empresa com várias fontes de dados e não tem uma ideia clara de como usar todas essas fontes de forma escalável. Seja a primeira pessoa a trazer essas técnicas para a sua empresa e torne-se o destaque do time.

<h2>Comece a trabalhar com engenharia de dados</h2> 
Você tem curiosidade de seguir uma carreira em engenharia de dados, mas não sabe por onde começar? Ou talvez você queira mais informações sobre o que os engenheiros de dados fazem antes de dar os próximos passos? Este curso de quatro horas é uma introdução à engenharia de dados e aos principais conceitos, técnicas e ferramentas que você precisa entender para fazer o trabalho.
<br><br> 
<h2>Aprenda os conceitos e as técnicas de engenharia de dados</h2> 
Você começará aprendendo as diferenças entre um engenheiro de dados e um cientista de dados (e como eles trabalham juntos) antes de saber mais sobre as ferramentas do ofício, falando especificamente sobre computação em nuvem e computação paralela. Ao final do segundo capítulo, você entenderá as aplicações de SQL e NoSQL, usando DataFrames, e por que a computação paralela é tão importante.
<br><br> 
<h2>Executar ETL em exercícios práticos</h2> 
O processo de ETL é essencial para o fluxo de trabalho de um engenheiro de dados. Você aprenderá como os dados são extraídos, transformados e carregados para prepará-los para análise e geração de insights. Ao final do curso, você colocará todo esse conhecimento em prática executando e programando um processo de ETL usando dados reais.
<br><br> 
Nossos exercícios e testes interativos permitem que você revise e consolide seus novos conhecimentos, para que tenha confiança para discuti-los e aplicá-los depois de receber sua Declaração de Realização.
<br><br> 
Este curso introdutório faz parte de uma trilha de engenharia de dados, que oferece a você caminhos para melhorar sua compreensão da engenharia de dados e um conjunto claro das próximas etapas para se tornar um engenheiro de dados profissional.

Intermediate Python

Intermediate SQL

Dê o primeiro passo para se tornar um engenheiro de dados. Aprenda em um curso de quatro horas.

Introdução à Engenharia de Dados

Neste curso rápido, você aprenderá sobre o mundo da engenharia de dados, abordando ferramentas e tópicos como ETL e computação em nuvem. 

Ativar o DAG

Introdução à Engenharia de Dados

exercicio interativo prático