Gör dig redo att utforska hur data samlas in, bearbetas och förflyttas med hjälp av datapipelines. Du undersöker egenskaperna hos de bästa datapipelines och förbereder dig för att designa och bygga dina egna.

Introduktion till ETL- och ELT-pipelines

Köra en ETL-pipeline

ELT i praktiken

ETL- och ELT-pipelines

Bygga ETL- och ELT-pipelines

Bygg en ETL-pipeline

"T":et i ELT

Extrahera, transformera och ladda studentpoängdata

Introduktion till datapipelines

Fördjupa dig i att använda pandas för att extrahera, transformera och läsa in data när du bygger dina första datapipelines. Lär dig att göra din ETL-logik återanvändbar, och tillämpa loggning och undantagshantering i dina pipelines.

Extrahera data från strukturerade källor

Extrahera data från parquet-filer

Hämta data från SQL-databaser

Bygga funktioner för att extrahera data

Transforming data med pandas

Filtrera pandas DataFrames

Omvandla försäljningsdata med pandas

Validera datatransformationer

Spara data med pandas

Ladda säljdata till en CSV-fil

Anpassa en CSV-fil

Spara data till filer

Övervaka en datapipeline

Loggning i en datapipeline

Hantera undantag vid inläsning av data

Övervakning och aviseringar i en datapipeline

Bygga ETL-pipelines

Effektivisera ditt arbetsflöde med avancerade datapipelinetekniker, till exempel att arbeta med icke-tabellformat data och spara DataFrames till SQL-databaser. Utforska verktyg för avancerade transformationer med pandas och lär dig bästa praxis för att arbeta med komplex data.

Extrahera icke-tabellär data

Läsa in JSON-data med pandas

Läsa in JSON-data till minnet

Transformera icke-tabellformad data

Iterera över ordböcker

Hämta data från ordböcker

Transformera JSON-data

Transformera och rensa DataFrames

Avancerad datatransformation med pandas

Fylla i saknade värden med pandas

Gruppera data med pandas

Avancerade transformationer på DataFrames

Ladda data till en SQL-databas med pandas

Läsa in data till en Postgres-databas

Validera data som laddats till en Postgres-databas

Avancerade ETL-tekniker

I det här avslutande kapitlet skapar du ramverk för att validera och testa datapipelines innan de sätts i produktion. När du har testat din pipeline utforskar du tekniker för att köra den från start till slut, med full insyn i pipelinens prestanda.

Manuell testning av en datapipeline

Testa datapipelines

Validera en datapipeline vid "kontrollpunkter"

Testa en datapipeline från start till slut

Enhetstestning av en datapipeline

Validera en datapipeline med assert

Skriva enhetstester med pytest

Skapa fixtures med pytest

Enhetstestning av en datapipeline med fixtures

Köra en datapipeline i produktion

Orkestrerings- och ETL-verktyg

Arkitekturmönster för datapipelines

Köra en datapipeline från start till slut

Grattis!

Driftsätta och underhålla en datapipeline

amazon_sales_cleaned_sql.csv

schools_modified.csv

Course Glossary

tax_rate_cleaned.csv

scores.csv

Datapipelines är grunden i varje robust dataplattform. Att bygga dessa pipelines är en viktig färdighet för datatekniker, som skapar stort värde för verksamheter som är redo att ta steget mot en datadrivet framtid. Den här introduktionskursen hjälper dig att utveckla färdigheterna för att bygga effektiva, högpresterande och tillförlitliga datapipelines.

Videorna innehåller live-transkriptioner som du kan visa genom att klicka på "Visa transkription" längst ned till vänster i videospelaren.
Kursens ordlista finns till höger i resursavsnittet.
För att få CPE-poäng behöver du slutföra kursen och nå ett resultat på 70 % på den kvalificerade bedömningen. Du kan navigera till bedömningen genom att klicka på CPE-poängmeddelandet till höger.

<p><h2>Stärk analysen med datapipelines</h2>
Datapipelines är grunden för varje stark dataplattform. Att bygga dessa pipelines är en viktig färdighet för dataingenjörer, som tillför ett enormt värde till ett företag som är redo att kliva in i en datadriven framtid. Den här introduktionskursen hjälper dig att finslipa färdigheterna för att bygga effektiva, presterande och tillförlitliga datapipelines.</p>

<p><h2>Bygga och underhålla ETL-lösningar</h2>
Under hela den här kursen får du fördjupa dig i hela processen för att bygga en datapipeline. Du kommer att utveckla färdigheter i att använda Python-bibliotek som <code>pandas</code> och <code>json</code> för att extrahera data från strukturerade och ostrukturerade källor innan den transformeras och lagras för vidare användning. På vägen kommer du att utveckla verktyg och tekniker för att bygga självförtroende, såsom arkitekturdiagram, enhetstester och övervakning, som hjälper dina datapipelines att sticka ut från mängden. När du går vidare kommer du att sätta dina nyvunna färdigheter på prov med praktiska övningar.</p>

<p><h2>Boosta dataarbetsflöden</h2>
Efter att ha slutfört den här kursen kommer du att vara redo att designa, utveckla och använda datapipelines för att ge ditt dataflöde en rejäl boost i ditt jobb, din nya karriär eller ditt personliga projekt.</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

Lär dig bygga effektiva och pålitliga datapipelines med principerna för Extrahera, Transformera och Ladda.

ETL och ELT i Python

Lär dig bygga effektiva, presterande och tillförlitliga datapipelines med principerna Extract, Transform och Load.

Dataingenjör i Python

Maskininlärningsingenjör

Data Engineer

Testning av datapipelines

Test- och produktionsmiljöer

End-to-end-testning av en pipeline

Validering av pipelinens kontrollpunkter

Validering av DataFrames

Nu kör vi en övning!

Driftsätta och underhålla en datapipeline - Manuell testning av en datapipeline

Manuell testning av en datapipeline

Create Your Free Account