In questo capitolo, scoprirai che cos'è il Data Engineering e perché la richiesta di questa competenza professionale è in aumento. Scoprirai dove si posiziona l'ingegneria dei dati all’interno del ciclo di vita della data science, in che modo i data engineer si differenziano dai data scientist e avrai un'introduzione alla tua prima pipeline di dati completa.

Data Engineering e big data

Flusso di lavoro della data science

Segui il flusso

Opzioni

Attività di data engineering

Non attività di data engineering

Non responsabile

Vero

Falso

L’apice

Data engineer contro data scientist

Dimmi la verità

Data engineer

Data scientist

Chi è

La pipeline dei dati

Non è vero

Pipeline

Che cos'è il Data Engineering?

È arrivato il momento di parlare dell'archiviazione dei dati, una delle principali responsabilità di un data engineer. In questo capitolo imparerai come i data engineer gestiscono diverse strutture di dati, lavorano in SQL, il linguaggio di programmazione preferito per l'interrogazione e l'archiviazione dei dati, e implementano soluzioni di archiviazione dati appropriate con data lake e data warehouse.

Strutture dati

Strutture

Qual è la differenza

Database SQL

Possiamo trovare una soluzione

Colonne

Razze diverse

Data warehouse e data lake

Dì la verità

Il nostro magazzino (in mezzo alla strada)

Memorizzazione dei dati

I data engineer semplificano la vita ai data scientist preparando i dati grezzi per l'analisi utilizzando diverse tecniche di elaborazione in diverse fasi. Queste fasi devono essere combinate per creare pipeline, ed è qui che entra in gioco l'automazione. Infine, i data engineer utilizzano il cloud computing e il calcolo parallelo per mantenere fluide le pipeline.

Elaborazione dei dati

Collega i punti

Pianificazione dei dati

Pianificazioni

Uno o l'altro

Calcolo parallelo

Whenever, whenever

Universo parallelo

Cloud computing

Coperto dalle nuvole... digitali

Somewhere I belong

We are the champions

Spostamento ed elaborazione dati

Lexicon

Nel 2019, lo stipendio medio dei data engineer ha superato quello dei data scientist. Come è successo? Le aziende che volevano trovare l'oro all'interno dei loro dati si sono rese conto che non era possibile farlo se non avevano ancora costruito la miniera. I data engineer gettano le basi che rendono possibile la data science.
<br /> <br />
In questo corso imparerai le principali responsabilità di un data engineer, in che modo differiscono dai data scientist, e a facilitare il flusso di dati all'interno di un'organizzazione. Attraverso esercizi pratici, seguirai Spotflix, un'azienda di streaming musicale fittizia, per capire come i suoi data engineer raccolgono, puliscono e catalogano i suoi dati. Alla fine del corso, capirai cosa fanno i data engineer della tua azienda, sarai pronto ad avere una conversazione con uno di loro, e avrai solide basi per iniziare la tua carriera nel Data Engineering.


<h2> Capire le basi dell'ingegneria dei dati </h2>
<br>
In questo corso imparerai a conoscere le responsabilità principali di un data engineer, a capire come si differenzia dai data scientist e a facilitare il flusso di dati all'interno di un'organizzazione. Attraverso esercizi pratici seguirai Spotflix, un'azienda di streaming musicale immaginaria, per capire come i loro ingegneri dei dati raccolgono, puliscono e catalogano i loro dati. 
<br><br>
<h2> Applicare nei casi personali</h2>
<br>
Alla fine del corso, capirai cosa fanno gli ingegneri dei dati della tua azienda, sarai pronto ad avere una conversazione con un ingegnere dei dati e avrai una solida base per iniziare il tuo percorso di ingegnere dei dati.

Scopri come gli ingegneri dati creano le basi per la scienza dei dati. Nessuna programmazione!

Capire il Data Engineering

Scopri come gli ingegneri dei dati pongono le basi per rendere possibile la scienza dei dati. Non c'è bisogno di codificare!

Ingegnere dei dati associato in SQL

Analista dati in Databricks

Comprendere gli argomenti dei dati

Estrarre le canzoni che Julian ha ascoltato di più nell'ultimo mese

Trovare anche altri utenti che hanno ascoltato spesso le stesse canzoni

Caricare solo le 10 canzoni più ascoltate da questi utenti nell'ultima settimana in una tabella chiamata "Profili simili".

Estrarre solo le canzoni che questi utenti ascoltano e che sono dello stesso genere di quelle presenti nelle sessioni di ascolto di Julian. Queste sono le nostre raccomandazioni.

Carica le canzoni consigliate in una nuova tabella. Ecco la Playlist settimanale di Julian!

Pipeline

Capire il Data Engineering

Esercizio pratico interattivo