Procvič si budování dbt projektu od základů. Vyzkoušíš si načítání různých typů dat do dbt projektu a vytvoříš různé typy stagingových modelů. Tato kapitola se zaměřuje na části E a L procesu ELT.

Představení případové studie dbt

Kontrola instalace dbt

Inicializace dbt projektu

Nastavení dbt projektu a načtení dat

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Načtení distribučního centra jako dbt seed soubor

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Vytvoření staging modelu pro distribuční centra

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Načtení a vytvoření uživatelského modelu přes dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Další procvičování zdrojů a staging modelů v dbt

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Oprav běžné chyby

Nastavení dbt

Ponoř se hlouběji do světa datového modelování v dbt. Postavíš datový pipeline od počátečních stagingových modelů až po finální modely datového martu, které odpovídají na klíčové obchodní otázky. Cestou získáš zkušenosti s tvorbou datových testů, které hlídají kvalitu dat.

Tvorba popisů a testů v dbt

Přidání popisů sloupců v dbt

Přidání sloupcových testů v dbt

Tvorba datových martů a snímkových modelů v dbt

Opakování hierarchie dbt modelů

Vytvoření mart modelu pro zákazníky

Vytvoření mart modelu pro produkty

Ladění běžných chyb

Ladění dalších chyb

Tvorba dbt snapshot modelů

Tvorba modelů v dbt

Nauč se vylepšovat dbt projekty pomocí Jinja – zjednodušíš kód, odstraníš zbytečné opakování a usnadníš údržbu. Procvičíš si používání proměnných, smyček a maker pro efektivnější transformační workflow.

Úvod do Jinja s dbt

Zahřívací kolo s dbt compile

Zahřívání s dbt compile 2

Ladění pomocí dbt compile

Nastavování proměnných s dbt Jinja

Nastavení proměnných pomocí dbt Jinja 2

Pokročilé využití Jinja s dbt

Použití Jinja smyček na opakující se SQL 1

Použití Jinja smyček pro opakovaný SQL kód 2

Makra s Jinja

Ořezávání bílých znaků pomocí Jinja

Rekapitulace: případová studie dbt

Vylepšení dbt pomocí Jinja

Objev sílu datových transformací v praktickém kurzu případové studie s dbt (Data Build Tool). Kurz je určen začínajícím uživatelům dbt a zaměřuje se na praktická cvičení z reálného prostředí, která ti dají spoustu příležitostí stavět, transformovat a prohlubovat znalost klíčových příkazů dbt. Díky práci s interaktivními úlohami získáš jistotu v každém kroku procesu – od nastavení prostředí dbt až po tvorbu pokročilých modelů řešících konkrétní obchodní výzvy. Prostřednictvím cvičení si vybuduješ zkušenosti potřebné k tomu, abys s přehledem zvládl/a skutečné projekty ETL datových pipeline.

Proměňte surová data v čisté a spolehlivé modely pomocí dbt (Data Build Tool) – moderního transformačního frameworku založeného na SQL, který používají datové týmy po celém světě. Tento praktický kurz založený na případové studii je určen pro začínající studenty, kteří si chtějí vybudovat dovednosti z reálného světa prostřednictvím vedených, praktických cvičení. Nastavíte si vlastní prostředí dbt, budete modelovat data ve velkém měřítku a psát znovupoužitelný kód pomocí vestavěných funkcí dbt.<br><br><h2>Nastavte si svůj projekt a prozkoumejte data</h2>Začněte tím, že si nastavíte projekt dbt a budete pracovat se skutečným datovým souborem z oblasti e-commerce. Budete strukturovat nezpracovaná data, konfigurovat profily a ladit syntaktické chyby, zatímco získáte přehled o obchodním kontextu za každým krokem transformace.<br><br><h2>Vytvářejte a ověřujte modely</h2>Naučte se vytvářet škálovatelné staging modely a používat kontroly kvality dat, aby vaše datové sady byly přesné a připravené k analýze. Vybudujete si pevné základy pro zodpovídání klíčových obchodních otázek.<br><br><h2>Automatizujte s Jinja</h2>Dokončete kurz tím, že se naučíte používat Jinja k psaní znovupoužitelného a snadno udržovatelného kódu. Použijete proměnné, řízení toku a smyčky, abyste se řídili principem DRY (Don't Repeat Yourself) a zefektivnili svůj workflow v dbt.

Data Manipulation in SQL

Intermediate dbt

Naučte se přeměnit surová data na spolehlivé modely s dbt pomocí praktických cvičení.

Případová studie: Tvorba datových modelů pro e-commerce s dbt

Naučte se pomocí dbt proměnit surová data v čisté, spolehlivé modely díky praktickým cvičením z reálného světa. 

Načtení distribučního centra jako dbt seed soubor

Případová studie: Tvorba datových modelů pro e-commerce s dbt

Interaktivní praktické cvičení