Przećwicz budowanie projektu dbt od podstaw. Zastosuj swoje umiejętności przy wczytywaniu różnych typów danych do projektu dbt oraz konfigurowaniu różnorodnych modeli stagingowych. Ten rozdział koncentruje się na etapach E i L procesu ELT.

Wprowadzenie do studium przypadku dbt

Sprawdź instalację dbt

Inicjalizacja projektu dbt

Konfiguracja projektu dbt i ładowanie danych

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Wczytaj centrum dystrybucji jako plik seed dbt

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Tworzenie modelu stagingowego dla centrów dystrybucji

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Wczytaj dane użytkowników i utwórz model za pomocą dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Więcej praktyki ze źródłami i modelami stagingowymi dbt

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Debugowanie typowych błędów

Konfiguracja dbt

Zagłęb się w modelowanie danych w dbt. Zbuduj pipeline danych – od wstępnych modeli stagingowych po końcowe modele data mart, odpowiadające na kluczowe potrzeby biznesowe. Po drodze zdobędziesz doświadczenie w tworzeniu testów danych, które chronią przed pogorszeniem jakości danych.

Tworzenie opisów i testów w dbt

Dodaj opisy kolumn w dbt

Dodaj testy kolumn w dbt

Budowanie data martów i modeli migawkowych w dbt

Przypomnienie hierarchii modeli dbt

Tworzenie modelu mart dla klientów

Utwórz model martu dla produktów

Debugowanie kolejnych błędów

Tworzenie modeli snapshot w dbt

Budowanie modeli dbt

Naucz się ulepszać projekty dbt za pomocą Jinja – upraszczając kod, ograniczając powtarzalność i poprawiając łatwość utrzymania. Przećwiczysz używanie zmiennych, pętli i makr, aby budować wydajniejsze przepływy transformacji.

Wprowadzenie do Jinja z dbt

Rozgrzewka z dbt compile

Rozgrzewka z dbt compile 2

Debugowanie za pomocą dbt compile

Ustawianie zmiennych w dbt Jinja

Ustawianie zmiennych w dbt Jinja 2

Zaawansowane zastosowania Jinja w dbt

Używanie pętli Jinja w powtarzającym się SQL 1

Pętle Jinja dla powtarzającego się kodu SQL 2

Makra w Jinja

Usuwanie białych znaków w Jinja

Podsumowanie: studium przypadku dbt

Usprawnianie dbt z Jinja

Poznaj możliwości transformacji danych dzięki praktycznemu kursowi opartemu na studium przypadku z użyciem dbt (Data Build Tool). Kurs jest przeznaczony dla początkujących użytkowników dbt i skupia się na ćwiczeniach opartych na rzeczywistych scenariuszach, które dają wiele okazji do budowania, transformowania i utrwalania znajomości kluczowych poleceń dbt. Dzięki praktycznym zadaniom nabierzesz pewności na każdym etapie pracy – od konfiguracji środowiska dbt po tworzenie zaawansowanych modeli odpowiadających na rzeczywiste potrzeby biznesowe. Wykonując interaktywne ćwiczenia, zdobędziesz doświadczenie potrzebne do realizacji prawdziwych projektów pipeline'ów ETL.

Przekształcaj surowe dane w czyste, niezawodne modele za pomocą dbt (Data Build Tool) — nowoczesnego, opartego na SQL frameworka transformacyjnego używanego przez zespoły danych na całym świecie. Ten praktyczny kurs oparty na studium przypadku został zaprojektowany dla osób na wczesnym etapie nauki, które chcą rozwijać realne umiejętności poprzez prowadzone, praktyczne ćwiczenia. Skonfigurujesz własne środowisko dbt, będziesz modelować dane na dużą skalę i pisać wielokrotnego użytku kod, korzystając z wbudowanych funkcji dbt.<br><br><h2>Skonfiguruj swój projekt i poznaj dane</h2>Zacznij od skonfigurowania projektu dbt i pracy z rzeczywistym zbiorem danych e-commerce. Będziesz porządkować surowe dane, konfigurować profile i debugować problemy składniowe, jednocześnie zyskując wgląd w kontekst biznesowy stojący za każdym etapem transformacji.<br><br><h2>Twórz i waliduj modele</h2>Naucz się tworzyć skalowalne modele stagingowe i stosować kontrole jakości danych, aby mieć pewność, że Twoje zbiory danych są dokładne i gotowe do analizy. Zbudujesz solidne podstawy do odpowiadania na kluczowe pytania biznesowe.<br><br><h2>Automatyzuj z Jinja</h2>Zakończ kurs, ucząc się, jak używać Jinja do pisania wielokrotnego użytku, łatwego w utrzymaniu kodu. Będziesz używać zmiennych, instrukcji sterujących i pętli, aby stosować zasadę DRY (Don't Repeat Yourself) i usprawnić swój workflow dbt.

Data Manipulation in SQL

Intermediate dbt

Naucz się przekształcać surowe dane w modele z dbt dzięki praktycznym ćwiczeniom.

Studium przypadku: budowanie modeli danych e-commerce z dbt

Naucz się przekształcać surowe dane w czyste, niezawodne modele z dbt dzięki praktycznym ćwiczeniom opartym na rzeczywistych przykładach. 

Debugowanie typowych błędów

Studium przypadku: budowanie modeli danych e-commerce z dbt

Interaktywne ćwiczenie praktyczne