I det här första kapitlet introduceras du till datateknikens värld! Utforska skillnaderna mellan en datatekniker och en datavetare, få en överblick över de verktyg datatekniker använder och fördjupa din förståelse för hur molnteknik spelar en roll inom datateknik.

Vad är dataingenjörsarbete?

Dataingemangens uppgifter

Dataingenjör eller datavetare?

Dataingenjörsproblem

Dataingenejörens verktyg

Typer av databaser

Databearbetningsuppgifter

Schemaläggningsverktyg

Molnleverantörer

Varför molntjänster?

De stora aktörerna inom molntjänster

Molntjänster

Introduktion till datateknik

Nu när du känner till de viktigaste skillnaderna mellan en datatekniker och en datavetare är det dags att utforska datateknikerns verktygslåda! Lär dig i detalj om de olika typer av databaser som datatekniker använder, varför parallell beräkning är en hörnsten i datateknikerns arbete och hur du schemalägger databearbetningsjobb med hjälp av schemaläggningsramverk.

Databaser

Associationer

NoSQL

SQL vs NoSQL

Databasschemat

Kopplingar via relationer

Stjärnschemadiagram

Vad är parallell beräkning

Varför parallell beräkning?

Från uppgift till deluppgifter

Använda en DataFrame

Ramverk för parallell beräkning

Kort

Hadoop

PySpark

Hive

Spark, Hadoop och Hive

GroupBy i PySpark

Köra PySpark-filer

Schemaläggningsramverk för arbetsflöden

Airflow, Luigi och cron

Airflow DAG:ar

Datateknikerns verktygslåda

Nu när du bekantat dig med datateknikerns verktygslåda är det dags att dyka in i kärnan av en datateknikers arbetsflöde! Med ETL lär du dig hur du extraherar rådata från olika källor, transformerar dessa rådata till användbara insikter och laddar dem i relevanta databaser redo att användas.

Extrahera

Datakällor

Hämta data från ett API

Läs från en databas

Transformera

Dela upp hyrpriset

Förbered för transformationer

Sammanslagning med betyg

Inläsning

OLAP eller OLTP

Skriva till en fil

Läs in data i Postgres

Sätt ihop allt

Definiera en DAG

Konfigurera Airflow

Tolka DAG:en

Extrahera, transformera och ladda (ETL)

Avsluta allt du har lärt dig i de tre föregående kapitlen genom att genomföra ett verkligt datateknikscenario från DataCamp! Du utför och schemalägger en ETL-process som omvandlar rådata om kursbetyg till konkreta kursrekommendationer för DataCamps studenter.

Kursbetyg

Utforska schemat

Fråga tabellen

Genomsnittligt betyg per kurs

Från betyg till rekommendationer

Filtrera bort korrupt data

Använda rekommendationstransformationen

Schemalägg dagliga jobb

Måltabellen

Definiera DAG:en

Aktivera DAG:en

Söka i rekommendationerna

Grattis

Fallstudie: DataCamp

datacamp_application.sql

Har du hört folk prata om datatekniker och undrat vad de egentligen gör? Eller vet du vad de gör men är osäker på hur du själv ska bli en? Den här kursen är den perfekta introduktionen. Den täcker allt du behöver veta för att effektivisera din databearbetning. Kursen ger dig tillräcklig förståelse för att börja utforska världen av datateknik. Den passar utmärkt för dig som arbetar på ett företag med flera datakällor men saknar en tydlig bild av hur du kan använda dem på ett skalbart sätt. Var den första att införa dessa tekniker på ditt företag och bli en ovärderlig tillgång.

<h2>Kom igång med data engineering</h2> 
Är du nyfiken på en karriär inom data engineering men vet inte var du ska börja? Eller kanske vill du ha mer information om vad dataingenjörer gör innan du tar nästa steg? Den här fyratimmarskursen är en introduktion till data engineering och de grundläggande koncept, tekniker och verktyg du behöver förstå för att kunna utföra arbetet.
<br><br> 
<h2>Lär dig koncept och tekniker inom data engineering</h2> 
Du börjar med att lära dig skillnaderna mellan en data engineer och en data scientist (och hur de arbetar tillsammans) innan du får veta mer om yrkets verktyg, med särskilt fokus på molntjänster och parallell databehandling. I slutet av det andra kapitlet kommer du att förstå användningsområdena för SQL och NoSQL, hur man använder DataFrames och varför parallell databehandling är så viktig.
<br><br> 
<h2>Utför ETL i praktiska övningar</h2> 
ETL-processen är central i en dataingenjörs arbetsflöde. Du kommer att lära dig hur data extraheras, transformeras och laddas för att göra den redo för analys och för att generera insikter. I slutet av kursen kommer du att omsätta all denna kunskap i praktiken genom att själv utföra och schemalägga en ETL-process med hjälp av verkliga data.
<br><br> 
Våra övningar och interaktiva tester gör att du kan repetera och befästa dina nya kunskaper, så att du känner dig trygg med att diskutera och tillämpa dem när du har fått ditt Statement of Accomplishment.
<br><br> 
Denna introduktionskurs är en del av ett data engineering-spår, som ger dig vägar att fördjupa din förståelse för data engineering och en tydlig uppsättning nästa steg mot att bli en professionell data engineer.

Intermediate Python

Intermediate SQL

Börja din resa mot att bli dataingenjör idag. Lär dig om dataengineering i denna fyra timmars kurs.

Introduktion till datatekniker

Lär dig om data engineering i denna korta kurs, med verktyg och ämnen som ETL och molntjänster. 

Varför parallell beräkning?

Introduktion till datatekniker

Interaktiv övning med praktiskt arbete