In questo capitolo, scoprirai che cos'è il Data Engineering e perché la richiesta di questa competenza professionale è in aumento. Scoprirai dove si posiziona l'ingegneria dei dati all’interno del ciclo di vita della data science, in che modo i data engineer si differenziano dai data scientist e avrai un'introduzione alla tua prima pipeline di dati completa.

Data engineering e big data

Segui il flusso

Non responsabile

In grande stile

Data engineer vs data scientist

Dimmi la verità

Chi fa cosa

La pipeline dei dati

Non è vero

Pipeline

Che cos'è il Data Engineering?

È arrivato il momento di parlare dell'archiviazione dei dati, una delle principali responsabilità di un data engineer. In questo capitolo imparerai come i data engineer gestiscono diverse strutture di dati, lavorano in SQL, il linguaggio di programmazione preferito per l'interrogazione e l'archiviazione dei dati, e implementano soluzioni di archiviazione dati appropriate con data lake e data warehouse.

Strutture di dati

Strutture

Qual è la differenza

Database SQL

We can work it out

Colonne

Razze diverse

Data warehouse e data lake

Dì la verità

Il nostro magazzino (in mezzo alla nostra via)

Memorizzazione dei dati

I data engineer semplificano la vita ai data scientist preparando i dati grezzi per l'analisi utilizzando diverse tecniche di elaborazione in diverse fasi. Queste fasi devono essere combinate per creare pipeline, ed è qui che entra in gioco l'automazione. Infine, i data engineer utilizzano il cloud computing e il calcolo parallelo per mantenere fluide le pipeline.

Elaborazione dei dati

Opzioni

Extract

Transform

Load

Collega i puntini

Pianificazione dei dati

Manuale

Oraria

Condizione

Pianificazioni

Batch

Stream

Una o l'altra

Calcolo parallelo

Sempre, sempre

Corretto

Errato

Universo parallelo

Cloud computing

Obscured by clouds

Calcolo

Database

Somewhere I belong

We are the champions

Spostamento ed elaborazione dati

Lexicon

Course Glossary: Understanding Data Engineering

Nel 2019, lo stipendio medio dei data engineer ha superato quello dei data scientist. Come è successo? Le aziende che volevano trovare l'oro all'interno dei loro dati si sono rese conto che non era possibile farlo se non avevano ancora costruito la miniera. I data engineer gettano le basi che rendono possibile la data science.
<br /> <br />
In questo corso imparerai le principali responsabilità di un data engineer, in che modo differiscono dai Data Scientist, e a facilitare il flusso di dati all'interno di un'organizzazione. Attraverso esercizi pratici, seguirai Spotflix, un'azienda di streaming musicale fittizia, per capire come i suoi data engineer raccolgono, puliscono e catalogano i suoi dati. Alla fine del corso, capirai cosa fanno i data engineer della tua azienda, sarai pronto ad avere una conversazione con uno di loro, e avrai solide basi per iniziare la tua carriera nel Data Engineering.

I video contengono trascrizioni in tempo reale, a cui è possibile accedere facendo clic su "Mostra trascrizione" in basso a sinistra nei video.

Il glossario del corso si trova a destra nella sezione risorse.

Per ottenere i crediti CPE tu devi completare il corso e raggiungere un punteggio del 70% nella valutazione qualificata. Puoi navigare verso la valutazione cliccando sulla callout dei crediti CPE a destra.

<h2> Comprendere le basi del Data Engineering </h2>
<br>
In questo corso imparerai le principali responsabilità di un data engineer, in che modo differiscono dai data scientist, e a facilitare il flusso di dati all'interno di un'organizzazione. Attraverso esercizi pratici, seguirai Spotflix, un'azienda di streaming musicale fittizia, per capire come i suoi data engineer raccolgono, puliscono e catalogano i suoi dati. 
<br><br>
<h2> Applicazione pratica</h2>
<br>
Alla fine del corso, capirai cosa fanno i data engineer della tua azienda, sarai pronto ad avere una conversazione con uno di loro, e avrai solide basi per iniziare la tua carriera nel Data Engineering.

Scopri come gli ingegneri dati creano le basi per la scienza dei dati. Nessuna programmazione!

Capire il Data Engineering

Scopri come i data engineer pongono le basi per rendere possibile la data science, senza necessità di programmare.

Ingegnere dei dati associato in SQL

Analista dati in Databricks

Comprendere gli argomenti dei dati

Eseguire la pipeline di codifica dei brani, perché l'ingegneria ha cambiato l'encoder e vuole assicurarsi che superi ancora il controllo di validazione.

Generare la Spotflix Weekly Playlist del Capitolo 1 ogni lunedì alle 00:00.

Elaborare i video musicali caricati dagli artisti ogni ora.

Raccogliere i dati da Google Analytics ogni mattina per verificare l'andamento della campagna promozionale.

Eseguire i controlli di validazione se vengono raccolti nuovi video.

Aggiornare il numero di follower in una tabella delle playlist dopo che un utente si è iscritto.

Pianificazioni

Capire il Data Engineering

esercizio interattivo pratico