In questo primo capitolo entrerai nel mondo del data engineering! Scoprirai le differenze tra un data engineer e un data scientist, avrai una panoramica dei vari strumenti usati dai data engineer e capirai meglio il ruolo del cloud nel data engineering. 

Che cos’è il data engineering?

Attività del data engineer

Data engineer o data scientist?

Problemi di data engineering

Strumenti del data engineer

Tipi di database

Attività di elaborazione

Strumenti di scheduling

Provider cloud

Perché il cloud computing?

I grandi del cloud computing

Servizi cloud

Introduzione al Data Engineering

Ora che conosci le principali differenze tra un data engineer e un data scientist, preparati a esplorare la cassetta degli attrezzi del data engineer! Imparerai nel dettaglio i diversi tipi di database utilizzati, come il calcolo parallelo sia un pilastro fondamentale del toolkit del data engineer e come pianificare i job di elaborazione dei dati usando framework di schedulazione.

Database

SQL vs NoSQL

Lo schema del database

Join basate su relazioni

Diagramma dello star schema

Che cos'è il calcolo parallelo

Perché il calcolo parallelo?

Da attività a sottoattività

Uso di un DataFrame

Framework per il calcolo parallelo

Spark, Hadoop e Hive

Un groupby in PySpark

Esecuzione di file PySpark

Framework per la pianificazione dei workflow

Airflow, Luigi e cron

DAG in Airflow

Strumenti del data engineering

Dopo aver esplorato gli strumenti dei data engineer, è il momento di passare al cuore del loro flusso di lavoro! Con l’ETL, imparerai a estrarre dati grezzi da varie fonti, trasformarli in insight azionabili e caricarli nei database rilevanti pronti per l’uso! 

Estrai

Sorgenti dati

Recupera dati da un'API

Leggere da un database

Trasforma

Suddividere il rental rate

Preparati alle trasformazioni

Join con le valutazioni

Caricamento

OLAP o OLTP

Scrivere su un file

Caricare in Postgres

Mettiamo tutto insieme

Definire un DAG

Configurare Airflow

Interpretare il DAG

Extract, Transform and Load (ETL)

Metti a frutto tutto ciò che hai imparato nei tre capitoli precedenti con un caso d’uso reale di data engineering da DataCamp! Eseguirai e pianificherai un processo ETL che trasforma dati grezzi sulle valutazioni dei corsi in raccomandazioni utili per gli studenti di DataCamp! 

Valutazioni dei corsi

Esplorare lo schema

Interrogare la tabella

Valutazione media per corso

Dalle valutazioni alle raccomandazioni

Filtra i dati corrotti

Usare la trasformazione del recommender

Programmare job giornalieri

La tabella di destinazione

Definire il DAG

Abilita il DAG

Interrogare le raccomandazioni

Complimenti

Caso di studio: DataCamp

datacamp_application.sql

Hai sentito parlare dei data engineer e ti chiedi cosa facciano? Sai già di cosa si occupano, ma non sei sicuro di come diventarlo? Questo corso è l'introduzione perfetta. Tocca tutti gli aspetti che devi conoscere per rendere più efficiente l'elaborazione dei dati. Questo corso introduttivo ti offrirà il contesto necessario per iniziare a esplorare il mondo del data engineering. È ideale per chi lavora in un'azienda con diverse fonti di dati e non ha ancora un'idea chiara di come usarle in modo scalabile. Porta per primo queste tecniche nella tua azienda e diventa il punto di riferimento del team.

<h2>Inizia con l'ingegneria dei dati</h2> 
Ti interessa una carriera nel campo dell'ingegneria dei dati ma non sai da dove cominciare? O forse vuoi saperne di più su cosa fanno i data engineer prima di fare il prossimo passo? Questo corso di quattro ore è un'introduzione all'ingegneria dei dati e ai concetti, alle tecniche e agli strumenti fondamentali che devi conoscere per svolgere questo lavoro.
<br><br> 
<h2>Impara i concetti e le tecniche dell'ingegneria dei dati</h2> 
Inizierai imparando le differenze tra un ingegnere dei dati e un data scientist (e come lavorano insieme) prima di scoprire di più sugli strumenti del mestiere, parlando in particolare di cloud computing e calcolo parallelo. Alla fine del secondo capitolo, capirai come usare SQL e NoSQL, come usare i DataFrame e perché il calcolo parallelo è così importante.
<br><br> 
<h2>Fai ETL con esercizi pratici</h2> 
Il processo ETL è fondamentale nel flusso di lavoro di un ingegnere dei dati. Imparerai come estrarre, trasformare e caricare i dati per prepararli all'analisi e generare informazioni utili. Alla fine del corso, metterai in pratica tutto quello che hai imparato facendo e programmando un processo ETL da solo con dati reali.
<br><br> 
I nostri esercizi e test interattivi ti aiutano a ripassare e consolidare le nuove conoscenze, così potrai sentirti sicuro nel discuterne e metterle in pratica una volta ottenuto il tuo attestato di completamento.
<br><br> 
Questo corso introduttivo fa parte di un percorso di data engineering che ti aiuta a capire meglio questo campo e ti dà una serie di passi chiari da seguire per diventare un ingegnere dei dati professionista.

Intermediate Python

Intermediate SQL

Inizia oggi il tuo percorso per diventare un data engineer con questo corso di quattro ore.

Scopri il mondo dell'ingegneria dei dati in questo breve corso, che parla di strumenti e argomenti come ETL e cloud computing. 

Esplorare lo schema

Introduzione al Data Engineering

esercizio interattivo pratico