Află de ce a apărut dbt și cum este folosit pentru a crea proiecte de transformare a datelor.

Bazele dbt

Rularea comenzii dbt

Introducere în dbt

Versiunea dbt

Obținerea ajutorului

Utilizatorii dbt

Crearea unui proiect dbt

Inițializarea unui proiect dbt

Crearea unui profil de proiect

Bun venit în dbt

Intră în substanța reală a dbt lucrând cu modele de date și creând modele bazate pe SQL în dbt. Vei învăța despre modele SQL de bază, vei defini dependențe, vei actualiza și vei rezolva diverse probleme ale modelelor.

Lucrul cu un prim proiect

Pașii unui flux de lucru dbt

Fluxul de lucru al unui proiect dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Rularea unui proiect

Ce este un model dbt?

Opțiuni

Adevărat despre un model de date

Fals despre un model de date

Caracteristicile unui model de date


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Crearea unui model dbt

Actualizarea modelelor dbt

Proiect

Doar model

Fișiere de configurare


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Actualizarea unui model dbt

Proiecte și modele dbt

Află cum să folosești șabloane Jinja pentru a simplifica modelele dbt și cum să definești dependențe ierarhice cu funcția `ref`, asigurând astfel execuția corectă a modelelor.

Crearea și generarea documentației dbt

Opțiunile comenzii dbt docs

Fluxul documentației dbt

Crearea documentației dbt

Șabloane Jinja

Ce poate face Jinja?

Procesează un șablon Jinja

Modele ierarhice în dbt

Crearea modelelor ierarhice

Actualizarea ierarhiilor de modele

Mai multe despre modelele dbt

Acest curs te introduce în dbt (data build tool), un instrument popular care a dat naștere ingineriei de analiză pentru crearea și întreținerea pipeline-urilor de tip extragere, transformare și încărcare (ELT). Vei învăța să construiești depozite de date, să realizezi modelare și transformări de date și să concepi teste pentru validarea datelor. Vei folosi comenzi SQL și de shell pentru a efectua o varietate de sarcini cu dbt, descoperind totodată cum să generezi documentație pentru utilizatorii depozitului tău de date!

dbt, sau data build tool, a luat lumea datelor cu asalt. Acest curs vă introduce în conceptele, terminologia și metodele de utilizare a dbt pentru a implementa un exemplu de data warehouse. Vei înțelege ce este dbt, când ar trebui folosit și care sunt cele mai bune practici în implementarea data warehousing-ului. Vei lucra cu seturi de date reale și vei efectua operațiuni de extragere, încărcare și transformare, așa cum sunt implementate în rolurile de analist de date, inginer de date și inginerie analitică.

Cursanții vor dezvolta abilitățile necesare pentru a defini un data warehouse de la zero, a modela și transforma datele și a crea teste! Acest curs îți va oferi o bază solidă pe care să construiești în parcursul tău dbt, indiferent de tipul de data warehouse pe care intenționezi să îl implementezi. Câștigă încredere în modul și momentul în care să folosești dbt, lucrând prin exerciții care folosesc SQL și comenzi shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Acest curs introduce dbt pentru modelare de date, transformări, testare și documentare.

Acest curs prezintă dbt pentru modelarea datelor, transformări, testare și crearea documentației.

Fundamentele dbt

Inginer de date profesionist în Python

Creează destinațiile de date în fișierul `profiles.yml`

Verifică conținutul din depozitul de date

Fluxul de lucru al unui proiect dbt

Introducere în dbt

Exercițiu interactiv practic