In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

What is data engineering?

Tasks of the data engineer

Data engineer or data scientist?

Data engineering problems

Tools of the data engineer

Kinds of databases

Processing tasks

Scheduling tools

Cloud providers

Why cloud computing?

Big players in cloud computing

Cloud services

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Database

Associazioni

NoSQL

SQL vs NoSQL

Lo schema del database

Join basate su relazioni

Diagramma dello star schema

Che cos'è il calcolo parallelo

Perché il calcolo parallelo?

Da attività a sottoattività

Uso di un DataFrame

Framework per il calcolo parallelo

Schede

Hadoop

PySpark

Hive

Spark, Hadoop e Hive

Un groupby in PySpark

Esecuzione di file PySpark

Framework per la pianificazione dei workflow

Airflow, Luigi e cron

DAG in Airflow

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Course ratings

Exploring the schema

Querying the table

Average rating per course

From ratings to recommendations

Filter out corrupt data

Using the recommender transformation

Scheduling daily jobs

The target table

Defining the DAG

Enable the DAG

Querying the recommendations

Congratulations

Case Study: DataCamp

datacamp_application.sql

Hai sentito parlare dei data engineer e ti chiedi cosa facciano? Sai già di cosa si occupano, ma non sei sicuro di come diventarlo? Questo corso è l'introduzione perfetta. Tocca tutti gli aspetti che devi conoscere per rendere più efficiente l'elaborazione dei dati. Questo corso introduttivo ti offrirà il contesto necessario per iniziare a esplorare il mondo del data engineering. È ideale per chi lavora in un'azienda con diverse fonti di dati e non ha ancora un'idea chiara di come usarle in modo scalabile. Porta per primo queste tecniche nella tua azienda e diventa il punto di riferimento del team.

<h2>Inizia con l'ingegneria dei dati</h2> 
Ti interessa una carriera nel campo dell'ingegneria dei dati ma non sai da dove cominciare? O forse vuoi saperne di più su cosa fanno i data engineer prima di fare il prossimo passo? Questo corso di quattro ore è un'introduzione all'ingegneria dei dati e ai concetti, alle tecniche e agli strumenti fondamentali che devi conoscere per svolgere questo lavoro.
<br><br> 
<h2>Impara i concetti e le tecniche dell'ingegneria dei dati</h2> 
Inizierai imparando le differenze tra un ingegnere dei dati e un data scientist (e come lavorano insieme) prima di scoprire di più sugli strumenti del mestiere, parlando in particolare di cloud computing e calcolo parallelo. Alla fine del secondo capitolo, capirai come usare SQL e NoSQL, come usare i DataFrame e perché il calcolo parallelo è così importante.
<br><br> 
<h2>Fai ETL con esercizi pratici</h2> 
Il processo ETL è fondamentale nel flusso di lavoro di un ingegnere dei dati. Imparerai come estrarre, trasformare e caricare i dati per prepararli all'analisi e generare informazioni utili. Alla fine del corso, metterai in pratica tutto quello che hai imparato facendo e programmando un processo ETL da solo con dati reali.
<br><br> 
I nostri esercizi e test interattivi ti aiutano a ripassare e consolidare le nuove conoscenze, così potrai sentirti sicuro nel discuterne e metterle in pratica una volta ottenuto il tuo attestato di completamento.
<br><br> 
Questo corso introduttivo fa parte di un percorso di data engineering che ti aiuta a capire meglio questo campo e ti dà una serie di passi chiari da seguire per diventare un ingegnere dei dati professionista.

Intermediate Python

Intermediate SQL

Inizia oggi il tuo percorso per diventare un data engineer con questo corso di quattro ore.

Introduzione al Data Engineering

Scopri il mondo dell'ingegneria dei dati in questo breve corso, che parla di strumenti e argomenti come ETL e cloud computing. 

Diagramma dello star schema

Introduzione al Data Engineering

Esercizio pratico interattivo