Get ready to discover how data is collected, processed, and moved using data pipelines. You will explore the qualities of the best data pipelines, and prepare to design and build your own.

Introduction to ETL and ELT Pipelines

Running an ETL Pipeline

ELT in Action

ETL and ELT Pipelines

Building ETL and ELT Pipelines

Building an ETL Pipeline

The "T" in ELT

Extracting, Transforming, and Loading Student Scores Data

Introduction to Data Pipelines

Dive into leveraging pandas to extract, transform, and load data as you build your first data pipelines. Learn how to make your ETL logic reusable, and apply logging and exception handling to your pipelines.

Estrazione di dati da sorgenti strutturate

Estrazione di dati da file parquet

Recuperare dati da database SQL

Creare funzioni per estrarre dati

Trasformare i dati con pandas

Filtrare i DataFrame di pandas

Trasformare i dati di vendita con pandas

Convalidare le trasformazioni dei dati

Persistenza dei dati con pandas

Caricare i dati di vendita in un file CSV

Personalizzare un file CSV

Persistenza dei dati su file

Monitorare una pipeline di dati

Logging in una data pipeline

Gestire le eccezioni durante il caricamento dei dati

Monitoraggio e avvisi all'interno di una pipeline di dati

Building ETL Pipelines

Supercharge your workflow with advanced data pipelining techniques, such as working with non-tabular data and persisting DataFrames to SQL databases. Discover tooling to tackle advanced transformations with pandas, and uncover best-practices for working with complex data.

Extracting non-tabular data

Ingesting JSON data with pandas

Reading JSON data into memory

Transforming non-tabular data

Iterating over dictionaries

Parsing data from dictionaries

Transforming JSON data

Transforming and cleaning DataFrames

Advanced data transformation with pandas

Filling missing values with pandas

Grouping data with pandas

Applying advanced transformations to DataFrames

Loading data to a SQL database with pandas

Loading data to a Postgres database

Validating data loaded to a Postgres Database

Advanced ETL Techniques

In this final chapter, you’ll create frameworks to validate and test data pipelines before shipping them into production. After you’ve tested your pipeline, you’ll explore techniques to run your data pipeline end-to-end, all while allowing for visibility into pipeline performance.

Manually testing a data pipeline

Testing data pipelines

Validating a data pipeline at "checkpoints"

Testing a data pipeline end-to-end

Unit-testing a data pipeline

Validating a data pipeline with assert

Writing unit tests with pytest

Creating fixtures with pytest

Unit testing a data pipeline with fixtures

Running a data pipeline in production

Orchestration and ETL tools

Data pipeline architecture patterns

Running a data pipeline end-to-end

Congratulations!

Deploying and Maintaining a Data Pipeline

scores.csv

schools_modified.csv

amazon_sales_cleaned_sql.csv

tax_rate_cleaned.csv

Course Glossary

Le pipeline di dati sono alla base di ogni solida piattaforma dati. Costruirle è una competenza essenziale per i data engineer, che offrono un enorme valore a un'azienda pronta ad abbracciare un futuro guidato dai dati. Questo corso introduttivo ti aiuterà a sviluppare le competenze per creare pipeline di dati efficaci, performanti e affidabili.

I video includono trascrizioni in tempo reale che puoi visualizzare cliccando su "Show transcript" in basso a sinistra nei video.
Il glossario del corso è disponibile a destra nella sezione delle risorse.
Per ottenere i crediti CPE devi completare il corso e raggiungere un punteggio del 70% nella valutazione qualificata. Puoi accedere alla valutazione cliccando sul riquadro dei crediti CPE sulla destra.

<p><h2>Potenziare l'analisi dei dati con le pipeline di dati</h2>
Le pipeline di dati sono alla base di ogni piattaforma dati solida. Costruire queste pipeline è una competenza fondamentale per i data engineer, che danno un valore incredibile alle aziende pronte a entrare in un futuro guidato dai dati. Questo corso introduttivo ti aiuterà a migliorare le tue abilità per creare pipeline di dati efficaci, performanti e affidabili.</p>

<p><h2>Creazione e manutenzione di soluzioni ETL</h2>
Durante questo corso, ti immergerai nel processo completo di creazione di una pipeline di dati. Svilupperai competenze nell'uso di librerie Python come <code>pandas</code> e <code>json</code> per estrarre dati da fonti strutturate e non strutturate prima che vengano trasformati e conservati per un uso a valle. Lungo il percorso, imparerai a usare strumenti e tecniche affidabili come diagrammi di architettura, test unitari e monitoraggio, che ti aiuteranno a distinguere le tue pipeline di dati da quelle degli altri. Man mano che vai avanti, metterai alla prova le tue nuove abilità con esercizi pratici.</p>

<p><h2>Potenzia i flussi di lavoro dei dati</h2>
Dopo aver finito questo corso, sarai pronto a progettare, sviluppare e usare le pipeline di dati per potenziare il tuo flusso di lavoro con i dati nel tuo lavoro, nella tua nuova carriera o nei tuoi progetti personali.</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

Impara a creare pipeline dati efficaci e affidabili usando i principi di Estrazione, Trasformazione e Carico.

ETL and ELT in Python

Impara a creare pipeline di dati efficaci, efficienti e affidabili usando i principi di estrazione, trasformazione e caricamento.

Estrazione di dati da sorgenti strutturate

Create Your Free Account