I det här kapitlet lär du dig vad datateknik är och varför efterfrågan på datatekniker ökar. Du får sedan se var datateknik passar in i datavetenskap-livscykeln, hur datatekniker skiljer sig från datavetare och en introduktion till din första kompletta datapipeline.

Datateknik och big data

Följ flödet

Inte ansvarigt

Stordatavärlden

Dataingenjörer vs. datavetare

Vad stämmer egentligen?

Vem gör vad?

Datapipelinen

Det stämmer inte

Pipeline

Vad är datateknik?

Nu är det dags att prata om datalagring – ett av datateknikerns viktigaste ansvarsområden. I det här kapitlet lär du dig hur datatekniker hanterar olika datastrukturer, arbetar i SQL – det självklara språket för att fråga och lagra data – samt implementerar lämpliga lagringslösningar med datalager och datasjöar.

Datastrukturer

Vad är skillnaden?

SQL-databaser

Vi löser det här

Kolumner

Olika roller

Datalager och datasjöar

Sant eller falskt

Vårt datalager (mitt i vår gata)

Att lagra data

Datatekniker förenklar datavetarnas arbete genom att förbereda rådata för analys med hjälp av olika bearbetningstekniker i olika steg. Dessa steg kombineras till pipelines, vilket kräver automatisering. Datatekniker använder också parallell- och molnberäkning för att hålla pipelinerna igång smidigt.

Bearbetning av data

Alternativ

Extract

Transform

Load

Koppla ihop punkterna

Schemaläggning av data

Manuellt

Villkor

Schemaläggning

Batch

Ström

Det ena eller det andra

Parallell beräkning

När som helst, vad som helst?

Rätt

Parallellt universum

Molnbaserad databehandling

Dold bakom molnen

Beräkning

Databaser

Rätt plats för allt

Vi är mästarna

Att flytta och bearbeta data

Lexicon

Course Glossary: Understanding Data Engineering

År 2019 översteg medellönen för datatekniker den för datavetare. Hur gick det till? Företag som ville utvinna värde ur sina data insåg att det inte var möjligt utan en solid grund att stå på. Datatekniker lägger den grunden som gör datavetenskap möjlig.
<br /> <br />
I den här kursen lär du dig om datateknikerns kärnansvar, hur rollen skiljer sig från datavetarens och hur datatekniker möjliggör dataflödet inom en organisation. Genom praktiska övningar följer du Spotflix, ett fiktivt musikstreamingföretag, och ser hur deras datatekniker samlar in, rensar och katalogiserar data. När du är klar förstår du vad ditt företags datatekniker gör, kan föra ett meningsfullt samtal med en datateknikern och har en stabil grund att bygga din egen datateknikerresa på.

Videorna innehåller direkttextning som du når genom att klicka på "Visa transkript" längst ned till vänster i videospelaren.

Kursglosset hittar du till höger i resursavsnittet.

För att få CPE-poäng behöver du slutföra kursen och uppnå minst 70 % på den kvalificerade utvärderingen. Du navigerar till utvärderingen via CPE-länken till höger.

<h2> Förstå grunderna i data engineering </h2>
<br>
I den här kursen lär du dig om en dataingenjörs kärnansvar, hur de skiljer sig från data scientists, och hur du underlättar dataflödet genom en organisation. Genom praktiska övningar följer du Spotflix, ett fiktivt musikstreamingföretag, för att förstå hur deras dataingenjörer samlar in, rensar och katalogiserar sin data. 
<br><br>
<h2> Tillämpa i personliga fall</h2>
<br>
I slutet av kursen kommer du att förstå vad ditt företags dataingenjörer gör, vara redo att ha ett samtal med en dataingenjör och ha en stabil grund för att börja din egen resa som dataingenjör.

Upptäck hur dataingenjörer skapar grunden för datavetenskap. Ingen kodning behövs!

Introduktion till datatekniker

Upptäck hur dataingenjörer lägger grunden som gör data science möjlig. Ingen kodning inblandad!

Associate Data Engineer i SQL

Dataanalytiker i Databricks

Förstå datateman

Köra pipeline för låtkodning, eftersom teknikteamet har ändrat kodaren och vill säkerställa att filerna fortfarande klarar valideringskontrollen.

Generera Spotflixs veckospellista från kapitel 1 varje måndag kl. 00:00.

Bearbeta musikvideor uppladdade av artister varje timme.

Samla in data från Google Analytics varje morgon för att följa hur reklamkampanjen går.

Köra valideringskontroller om nya videor håller på att samlas in.

Uppdatera antalet följare i en spellista efter att en användare har prenumererat på den.

Schemaläggning

Introduktion till datatekniker

Interaktiv övning med praktiskt arbete