Află de ce a apărut dbt și cum este folosit pentru a crea proiecte de transformare a datelor.

Bazele dbt

Rularea comenzii dbt

Introducere în dbt

Versiunea dbt

Obținerea ajutorului

Utilizatorii dbt

Crearea unui proiect dbt

Inițializarea unui proiect dbt

Crearea unui profil de proiect

Bun venit în dbt

Intră în substanța reală a dbt lucrând cu modele de date și creând modele bazate pe SQL în dbt. Vei învăța despre modele SQL de bază, vei defini dependențe, vei actualiza și vei rezolva diverse probleme ale modelelor.

Lucrul cu un prim proiect

Fluxul de lucru al unui proiect dbt

Rularea unui proiect

Ce este un model dbt?

Caracteristicile unui model de date

Crearea unui model dbt

Actualizarea modelelor dbt

Fișiere de configurare

Actualizarea unui model dbt

Proiecte și modele dbt

Află cum să folosești șabloane Jinja pentru a simplifica modelele dbt și cum să definești dependențe ierarhice cu funcția `ref`, asigurând astfel execuția corectă a modelelor.

Crearea și generarea documentației dbt

Opțiunile comenzii dbt docs

Procesul de documentație dbt

Fluxul documentației dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Crearea documentației dbt

Șabloane Jinja

Ce poate face Jinja?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Procesează un șablon Jinja

Modele ierarhice în dbt

Ordinea de creare a modelelor

Crearea modelelor ierarhice


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Actualizarea ierarhiilor de modele

Mai multe despre modelele dbt

Acest curs te introduce în dbt (data build tool), un instrument popular care a dat naștere ingineriei de analiză pentru crearea și întreținerea pipeline-urilor de tip extragere, transformare și încărcare (ELT). Vei învăța să construiești depozite de date, să realizezi modelare și transformări de date și să concepi teste pentru validarea datelor. Vei folosi comenzi SQL și de shell pentru a efectua o varietate de sarcini cu dbt, descoperind totodată cum să generezi documentație pentru utilizatorii depozitului tău de date!

dbt, sau data build tool, a luat lumea datelor cu asalt. Acest curs vă introduce în conceptele, terminologia și metodele de utilizare a dbt pentru a implementa un exemplu de data warehouse. Vei înțelege ce este dbt, când ar trebui folosit și care sunt cele mai bune practici în implementarea data warehousing-ului. Vei lucra cu seturi de date reale și vei efectua operațiuni de extragere, încărcare și transformare, așa cum sunt implementate în rolurile de analist de date, inginer de date și inginerie analitică.

Cursanții vor dezvolta abilitățile necesare pentru a defini un data warehouse de la zero, a modela și transforma datele și a crea teste! Acest curs îți va oferi o bază solidă pe care să construiești în parcursul tău dbt, indiferent de tipul de data warehouse pe care intenționezi să îl implementezi. Câștigă încredere în modul și momentul în care să folosești dbt, lucrând prin exerciții care folosesc SQL și comenzi shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Acest curs introduce dbt pentru modelare de date, transformări, testare și documentare.

Acest curs prezintă dbt pentru modelarea datelor, transformări, testare și crearea documentației.

Fundamentele dbt

Inginer de date profesionist în Python

Adaugă documentație la modele, teste etc.

Folosește `dbt run` pentru a genera modele

Folosește `dbt docs generate` pentru a genera fișierele de documentație

Copiază conținutul pe un serviciu de găzduire

Accesează documentația printr-un browser web

Fluxul documentației dbt

Introducere în dbt

Exercițiu interactiv practic