Exersează construirea unui proiect dbt de la zero. Aplică-ți abilitățile pentru a încărca diferite tipuri de date în proiectul dbt și pentru a configura o varietate de modele de staging. Acest capitol se concentrează pe etapele E și L din procesul ELT.

Introducere în studiul de caz dbt

Verifică instalarea dbt

Inițializează proiectul dbt

Configurarea proiectului dbt și încărcarea datelor

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Încarcă centrul de distribuție ca fișier seed dbt

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Creează modelul de staging pentru centrele de distribuție

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

Încarcă și creează modelul de utilizatori prin dbt source

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


Mai multă practică cu sursele și modelele de staging dbt

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Depanează erorile frecvente

Configurarea dbt

Aprofundează modelarea datelor în dbt. Construiește pipeline-ul de date de la modelele preliminare de staging până la modelele finale de data mart, necesare pentru a răspunde unor nevoi critice de business. Pe parcurs, vei dobândi experiență în crearea testelor de date pentru a proteja calitatea acestora.

Crearea descrierilor și testelor dbt

Adaugă descrieri de coloane în dbt

Adaugă teste de coloane dbt

Crearea data mart-urilor și a modelelor snapshot în dbt

Recapitulare a ierarhiei modelelor dbt

Creează modelul mart pentru clienți

Creează modelul mart pentru produse

Depanarea erorilor comune

Depanarea mai multor erori

Construirea modelelor snapshot în dbt

Construirea modelelor dbt

Învață să îți îmbunătățești proiectele dbt cu Jinja, simplificând codul, reducând redundanța și facilitând mentenanța. Vei exersa utilizarea variabilelor, buclelor și macrocomenzilor pentru a construi fluxuri de transformare mai eficiente.

Introducere în Jinja cu dbt

Încălzire cu dbt compile

Încălzire cu dbt compile 2

Folosirea dbt compile pentru depanare

Setarea variabilelor cu dbt Jinja

Setarea variabilelor cu Jinja 2 în dbt

Utilizarea avansată a Jinja cu dbt

Utilizarea buclelor Jinja pentru SQL repetitiv 1

Utilizarea buclelor Jinja în SQL repetat 2

Macrouri cu Jinja

Eliminarea spațiilor albe cu Jinja

Recapitulare: studiu de caz dbt

Îmbunătățirea dbt cu Jinja

Descoperă puterea transformării datelor cu acest curs practic dedicat dbt (Data Build Tool). Conceput pentru utilizatorii dbt la început de drum, cursul pune accent pe exerciții practice, din lumea reală, care îți oferă mai multe oportunități de a construi, transforma și consolida înțelegerea comenzilor esențiale dbt. Prin practică directă, vei căpăta încredere în fiecare etapă a procesului – de la configurarea mediului dbt până la crearea unor modele avansate care rezolvă provocări reale de business. Lucrând prin exerciții interactive, vei dobândi experiența necesară pentru a aborda cu încredere proiecte reale de pipeline ETL.

Transformă datele brute în modele curate și fiabile folosind dbt (Data Build Tool) - un framework modern de transformare bazat pe SQL, utilizat de echipele de date din întreaga lume. Acest curs practic bazat pe studii de caz este conceput pentru cursanții aflați la început de drum, care vor să-și dezvolte abilități reale prin exerciții ghidate și aplicate. Vei configura propriul tău mediu dbt, vei modela date la scară și vei scrie cod reutilizabil folosind funcțiile încorporate ale dbt.<br><br><h2>Configurează-ți proiectul și explorează datele</h2>Începe prin a configura un proiect dbt și a lucra cu un set de date real de E-Commerce. Vei structura datele brute, vei configura profiluri și vei depana problemele de sintaxă, în timp ce vei înțelege contextul de business din spatele fiecărui pas de transformare.<br><br><h2>Construiește și validează modele</h2>Învață să creezi modele de staging scalabile și să aplici verificări ale calității datelor pentru a te asigura că seturile tale de date sunt corecte și pregătite pentru analiză. Vei construi o bază solidă pentru a răspunde la întrebări esențiale de business.<br><br><h2>Automatizează cu Jinja</h2>Finalizează cursul învățând cum să folosești Jinja pentru a scrie cod reutilizabil și ușor de întreținut. Vei folosi variabile, fluxul de control și buclele pentru a urma principiul DRY (Don't Repeat Yourself) și a-ți eficientiza fluxul de lucru dbt.

Data Manipulation in SQL

Intermediate dbt

Învață să transformi date brute în modele curate și fiabile cu dbt prin exerciții practice.

Studiu de caz: Construirea modelelor de date pentru e-commerce cu dbt

Învață să transformi datele brute în modele curate și fiabile cu dbt, prin exerciții practice, din lumea reală. 

Creează modelul de staging pentru centrele de distribuție

Studiu de caz: Construirea modelelor de date pentru e-commerce cu dbt

Exercițiu interactiv practic