Gör dig redo att upptäcka hur data samlas in, bearbetas och flyttas med hjälp av datapipelines. Du utforskar vad som utmärker de bästa datapipelinesen och förbereder dig för att designa och bygga dina egna.

Introduktion till ETL- och ELT-pipelines

Köra en ETL-pipeline

ELT i praktiken

ETL- och ELT-pipelines

Bygga ETL- och ELT-pipelines

Bygga en ETL-pipeline

T:et i ELT

Extrahera, transformera och ladda data om studentresultat

Introduktion till datapipelines

Fördjupa dig i hur du använder pandas för att extrahera, transformera och ladda data medan du bygger dina första datapipelines. Lär dig att göra din ETL-logik återanvändbar och tillämpa loggning och undantagshantering i dina pipelines.

Extrahera data från strukturerade källor

Extrahera data från parquet-filer

Hämta data från SQL-databaser

Bygga funktioner för att extrahera data

Transformera data med pandas

Filtrera pandas-DataFrames

Transformera försäljningsdata med pandas

Validera datatransformationer

Spara data med pandas

Ladda försäljningsdata till en CSV-fil

Anpassa en CSV-fil

Spara data till filer

Övervaka en datapipeline

Loggning i en datapipeline

Hantera undantag vid inläsning av data

Övervakning och varningar i en datapipeline

Bygga ETL-pipelines

Ge ditt arbetsflöde ett rejält lyft med avancerade tekniker för datapipelines, till exempel att arbeta med icke-tabulär data och spara DataFrames i SQL-databaser. Upptäck verktyg för att hantera avancerade transformationer med pandas och lär dig bästa praxis för att arbeta med komplex data.

Extrahera icke-tabelldata

Läsa in JSON-data med pandas

Läsa in JSON-data i minnet

Transformera icke-tabellariska data

Iterera över dictionaries

Hämta data från dictionaries

Transformera JSON-data

Transformera och rensa DataFrames

Avancerad datatransformation med pandas

Fylla i saknade värden med pandas

Gruppera data med pandas

Tillämpa avancerade transformationer på DataFrames

Ladda data till en SQL-databas med pandas

Läsa in data till en Postgres-databas

Validera data som laddats in i en Postgres-databas

Avancerade ETL-tekniker

I det här avslutande kapitlet skapar du ramverk för att validera och testa datapipelines innan de tas i produktion. När du har testat din pipeline utforskar du tekniker för att köra din datapipeline end-to-end, samtidigt som du får insyn i pipelinens prestanda.

Manuell testning av en datapipeline

Testa datapipelines

Validera en datapipeline vid "kontrollpunkter"

Testa en datapipeline end-to-end

Enhetstesta en datapipeline

Validera en datapipeline med assert

Skriva enhetstester med pytest

Skapa fixtures med pytest

Enhetstestning av en datapipeline med fixtures

Köra en datapipeline i produktion

Orkestrerings- och ETL-verktyg

Arkitekturmönster för datapipelines

Köra en datapipeline från början till slut

Grattis!

Driftsätta och underhålla en datapipeline

amazon_sales_cleaned_sql.csv

schools_modified.csv

Course Glossary

tax_rate_cleaned.csv

scores.csv

Datapipelines utgör grunden för varje stark dataplattform. Att bygga dessa pipelines är en nödvändig färdighet för dataingenjörer, som tillför enormt värde till verksamheter som är redo att ta steget in i en datadriven framtid. Den här introduktionskursen hjälper dig att finslipa färdigheterna att bygga effektiva, högpresterande och pålitliga datapipelines.

Videorna innehåller livetranskriptioner som du kan visa genom att klicka på "Show transcript" längst ned till vänster i videon.
Kursens ordlista hittar du till höger i resurssektionen.
För att få CPE-poäng behöver du slutföra kursen och nå ett resultat på 70 % på det kvalificerade testet. Du kommer till testet genom att klicka på CPE-poäng-rutan till höger.

<p><h2>Stärk analysen med datapipelines</h2>
Datapipelines är grunden för varje stark dataplattform. Att bygga dessa pipelines är en viktig färdighet för dataingenjörer, som tillför ett enormt värde till ett företag som är redo att kliva in i en datadriven framtid. Den här introduktionskursen hjälper dig att finslipa färdigheterna för att bygga effektiva, presterande och tillförlitliga datapipelines.</p>

<p><h2>Bygga och underhålla ETL-lösningar</h2>
Under hela den här kursen får du fördjupa dig i hela processen för att bygga en datapipeline. Du kommer att utveckla färdigheter i att använda Python-bibliotek som <code>pandas</code> och <code>json</code> för att extrahera data från strukturerade och ostrukturerade källor innan den transformeras och lagras för vidare användning. På vägen kommer du att utveckla verktyg och tekniker för att bygga självförtroende, såsom arkitekturdiagram, enhetstester och övervakning, som hjälper dina datapipelines att sticka ut från mängden. När du går vidare kommer du att sätta dina nyvunna färdigheter på prov med praktiska övningar.</p>

<p><h2>Boosta dataarbetsflöden</h2>
Efter att ha slutfört den här kursen kommer du att vara redo att designa, utveckla och använda datapipelines för att ge ditt dataflöde en rejäl boost i ditt jobb, din nya karriär eller ditt personliga projekt.</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

Lär dig bygga effektiva och pålitliga datapipelines med principerna för Extrahera, Transformera och Ladda.

ETL och ELT i Python

Lär dig bygga effektiva, presterande och tillförlitliga datapipelines med principerna Extract, Transform och Load.

Enhetstesta en datapipeline

Create Your Free Account