Öva på att bygga ett dbt-projekt från grunden. Tillämpa dina kunskaper när du laddar in olika typer av data i dbt-projektet och sätter upp olika typer av staging-modeller. Det här kapitlet fokuserar på E- och L-delarna i ELT-processen.

Introduktion till dbt-fallstudien

Kontrollera dbt-installationen

Initiera dbt-projektet

Konfigurera dbt-projektet och läsa in data

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Läs in distributionscenter som en dbt seed-fil

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Skapa stagingmodell för distributionscenter

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Läs in och skapa en användarmodell via dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Mer övning med dbt-källor och stagingmodeller

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Felsök vanliga fel

Konfigurera dbt

Fördjupa dig i dbt-datamodellering. Bygg datapipelinen från inledande staging-modeller till de slutliga datamart-modellerna som svarar på viktiga affärsbehov. Längs vägen får du erfarenhet av att skapa datatester för att skydda mot kvalitetsförsämring i data.

Skapa dbt-beskrivningar och tester

Lägg till kolumnbeskrivningar i dbt

Lägg till kolumntester i dbt

Bygga dbt-datamarknader och ögonblicksbildsmodeller

Repetition av dbt:s modellhierarki

Skapa mart-modell för kunder

Skapa mart-modell för produkter

Felsökning av vanliga fel

Felsök fler fel

Bygga dbt snapshot-modeller

Bygga dbt-modeller

Lär dig förbättra dina dbt-projekt med Jinja genom att effektivisera koden, minska upprepningar och öka underhållbarheten. Du övar på att använda variabler, loopar och makron för att bygga mer effektiva transformationsflöden.

Introduktion till Jinja med dbt

Kom igång med dbt compile

Värm upp med dbt compile 2

Använd dbt compile för att felsöka

Sätta variabler med dbt Jinja

Sätta variabler med dbt Jinja 2

Avancerad användning av Jinja med dbt

Använda Jinja-loopar för upprepad SQL 1

Jinja-loopar för upprepad SQL 2

Makron med Jinja

Ta bort blanksteg med Jinja

Sammanfattning: dbt-fallstudie

Förbättra dbt med Jinja

Utforska kraften i datatransformation med vår praktiska kurs i dbt (Data Build Tool). Kursen är utformad för nybörjare med dbt och fokuserar på verklighetstrogna övningar där du får flera tillfällen att bygga, transformera och fördjupa din förståelse av viktiga dbt-kommandon. Genom praktiska övningar bygger du upp säkerheten i varje steg – från att konfigurera din dbt-miljö till att skapa avancerade modeller som löser verkliga affärsproblem. Med hjälp av interaktiva övningar får du den erfarenhet du behöver för att ta dig an riktiga ETL-pipelineprojekt med självförtroende.

Förvandla rådata till rena, tillförlitliga modeller med dbt (Data Build Tool) – ett modernt, SQL-baserat transformationsramverk som används av datateam över hela världen. Denna praktiska fallstudiekurs är utformad för nybörjare som vill bygga verkliga färdigheter genom vägledda, praktiska övningar. Du kommer att konfigurera din egen dbt-miljö, modellera data i stor skala och skriva återanvändbar kod med hjälp av dbt:s inbyggda funktioner.<br><br><h2>Konfigurera ditt projekt och utforska datan</h2>Kom igång genom att konfigurera ett dbt-projekt och arbeta med ett verkligt E-handelsdataset. Du kommer att strukturera rådata, konfigurera profiler och felsöka syntaxproblem samtidigt som du får insikt i affärskontexten bakom varje transformationssteg.<br><br><h2>Bygg och validera modeller</h2>Lär dig att skapa skalbara staging-modeller och tillämpa datakvalitetskontroller för att säkerställa att dina dataset är korrekta och redo för analys. Du kommer att bygga en solid grund för att besvara viktiga affärsfrågor.<br><br><h2>Automatisera med Jinja</h2>Avsluta kursen genom att lära dig hur du använder Jinja för att skriva återanvändbar och lättunderhållen kod. Du kommer att använda variabler, kontrollflöde och loopar för att följa DRY-principen (Don't Repeat Yourself) och effektivisera ditt dbt-arbetsflöde.

Data Manipulation in SQL

Intermediate dbt

Lär dig omvandla rådata till rena, pålitliga modeller med dbt genom praktiska övningar.

Fallstudie: Bygg e-handelsdatamodeller med dbt

Lär dig att omvandla rådata till rena, tillförlitliga modeller med dbt genom praktiska övningar från verkligheten. 

Läs in distributionscenter som en dbt seed-fil

Fallstudie: Bygg e-handelsdatamodeller med dbt

Interaktiv övning med praktiskt arbete