Get ready to discover how data is collected, processed, and moved using data pipelines. You will explore the qualities of the best data pipelines, and prepare to design and build your own.

Introduction to ETL and ELT Pipelines

Running an ETL Pipeline

ELT in Action

ETL and ELT Pipelines

Building ETL and ELT Pipelines

Building an ETL Pipeline

The "T" in ELT

Extracting, Transforming, and Loading Student Scores Data

Introduction to Data Pipelines

Dive into leveraging pandas to extract, transform, and load data as you build your first data pipelines. Learn how to make your ETL logic reusable, and apply logging and exception handling to your pipelines.

Extracting data from structured sources

Extracting data from parquet files

Pulling data from SQL databases

Building functions to extract data

Transforming data with pandas

Filtering pandas DataFrames

Transforming sales data with pandas

Validating data transformations

Persisting data with pandas

Loading sales data to a CSV file

Customizing a CSV file

Persisting data to files

Monitoring a data pipeline

Logging within a data pipeline

Handling exceptions when loading data

Monitoring and alerting within a data pipeline

Building ETL Pipelines

Supercharge your workflow with advanced data pipelining techniques, such as working with non-tabular data and persisting DataFrames to SQL databases. Discover tooling to tackle advanced transformations with pandas, and uncover best-practices for working with complex data.

Extracting non-tabular data

Ingesting JSON data with pandas

Reading JSON data into memory

Transforming non-tabular data

Iterating over dictionaries

Parsing data from dictionaries

Transforming JSON data

Transforming and cleaning DataFrames

Advanced data transformation with pandas

Filling missing values with pandas

Grouping data with pandas

Applying advanced transformations to DataFrames

Loading data to a SQL database with pandas

Loading data to a Postgres database

Validating data loaded to a Postgres Database

Advanced ETL Techniques

In this final chapter, you’ll create frameworks to validate and test data pipelines before shipping them into production. After you’ve tested your pipeline, you’ll explore techniques to run your data pipeline end-to-end, all while allowing for visibility into pipeline performance.

Bir veri hattını manuel olarak test etme

Veri boru hatlarını test etme

"Kontrol noktalarında" bir veri hattını (pipeline) doğrulama

Veri hattını uçtan uca test etme

Bir veri hattının birim testi

assert ile bir veri hattını doğrulama

pytest ile birim testleri yazma

pytest ile fixture oluşturma

Fixture'larla bir veri hattını birim testine tabi tutma

Bir veri hattını üretimde çalıştırma

Orkestrasyon ve ETL araçları

Veri hattı mimarisi kalıpları

Bir veri hattını uçtan uca çalıştırma

Tebrikler!

Deploying and Maintaining a Data Pipeline

scores.csv

schools_modified.csv

amazon_sales_cleaned_sql.csv

tax_rate_cleaned.csv

Course Glossary

Veri boru hatları, güçlü bir veri platformunun temelini oluşturur. Bu boru hatlarını kurmak, veriye dayalı bir geleceğe adım atmaya hazır işletmelere büyük değer katan veri mühendisleri için temel bir beceridir. Bu giriş niteliğindeki kurs, etkili, yüksek performanslı ve güvenilir veri boru hatları kurma becerilerini geliştirmeni sağlayacak.

Videolarda, videoların sol altındaki "Show transcript" seçeneğine tıklayarak açabileceğin canlı altyazılar bulunur.
Kurs sözlüğünü sağdaki kaynaklar bölümünde bulabilirsin.
CPE kredisi almak için kursu tamamlaman ve nitelikli değerlendirmede %70 puana ulaşman gerekir. Sağ taraftaki CPE kredileri duyurusuna tıklayarak değerlendirmeye gidebilirsin.

<p><h2>Veri Boru Hatları ile Analitiği Güçlendirme</h2>
Veri boru hatları, her güçlü veri platformunun temelini oluşturur. Bu boru hatlarını inşa etmek, veri odaklı bir geleceğe adım atmaya hazır olan işletmelere inanılmaz bir değer katan veri mühendisleri için vazgeçilmez bir beceridir. Bu giriş kursu, etkili, performanslı ve güvenilir veri boru hatları oluşturma becerilerinizi geliştirmenize yardımcı olacaktır.</p>

<p><h2>ETL Çözümleri Oluşturma ve Bakımını Yapma</h2>
Bu kurs boyunca, veri boru hattı oluşturmanın tüm sürecini ayrıntılı olarak inceleyeceksiniz. <code>Pandas</code> ve <code>json</code> gibi Python kütüphanelerini kullanarak, yapılandırılmış ve yapılandırılmamış kaynaklardan verileri dönüştürülmeden ve kalıcı hale getirilmeden önce çıkarmak için becerilerinizi geliştireceksiniz. Bu süreçte, veri boru hatlarınızı diğerlerinden ayırmanıza yardımcı olacak mimari diyagramları, birim testleri ve izleme gibi güven araçları ve teknikleri geliştireceksiniz. İlerledikçe, yeni edindiğiniz becerileri uygulamalı alıştırmalarla test edeceksiniz.</p>

<p><h2>Veri İş Akışlarını Güçlendirin</h2>
Bu kursu tamamladıktan sonra, işinizde, yeni kariyerinizde veya kişisel projenizde veri iş akışınızı güçlendirmek için veri boru hatları tasarlama, geliştirme ve kullanma konusunda hazır olacaksınız.</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

ETL prensipleriyle etkili, hızlı ve güvenilir veri hatları oluşturmayı öğrenin.

Python ile ETL ve ELT

Çıkarma, Dönüştürme ve Yükleme ilkelerini kullanarak etkili, performanslı ve güvenilir veri boru hatları oluşturmayı öğrenin.

Veri Mühendisi Python'da

Makine Öğrenimi Mühendisi

Data Engineer

Bir veri hattını elle test etme

Veri hatlarını test etme

Test ve üretim ortamları

Bir hattı uçtan uca test etme

Hattın kontrol noktalarını doğrulama

DataFrame'leri doğrulama

Hadi pratik yapalım!

Deploying and Maintaining a Data Pipeline - Bir veri hattını manuel olarak test etme

Bir veri hattını manuel olarak test etme

Create Your Free Account