Află de ce a apărut dbt și cum este folosit pentru a crea proiecte de transformare a datelor.

Bazele dbt

This is the code editor window. The terminal window is the panel below.

Run the following command in the terminal area:
  
dbt

Rularea comenzii dbt

Introducere în dbt

Versiunea dbt

Obținerea ajutorului

Opțiuni

Probabil folosește dbt

Puțin probabil să folosească dbt

Utilizatorii dbt

Crearea unui proiect dbt

Project Name: nyc_yellow_taxi
Database type: duckdb


Run the following commands in the terminal window:


dbt init


Note: You will need to specify the project name (nyc_yellow_taxi) and
select the database type ([1] duckdb)
  
Once complete run:
  
cd nyc_yellow_taxi

ls


Inițializarea unui proiect dbt

# Modify the project name
____:
  outputs:
    dev:
      # Change the database type
      type: ____
      path: dbt.duckdb
  target: dev


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev
  



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with src_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev


Run the following command in the terminal after editing the profiles.yml file:
  
dbt debug


Crearea unui profil de proiect

Bun venit în dbt

Intră în substanța reală a dbt lucrând cu modele de date și creând modele bazate pe SQL în dbt. Vei învăța despre modele SQL de bază, vei defini dependențe, vei actualiza și vei rezolva diverse probleme ale modelelor.

Lucrul cu un prim proiect

Fluxul de lucru al unui proiect dbt

Rularea unui proiect

Ce este un model dbt?

Caracteristicile unui model de date

Crearea unui model dbt

Actualizarea modelelor dbt

Fișiere de configurare

Actualizarea unui model dbt

Proiecte și modele dbt

Află cum să folosești șabloane Jinja pentru a simplifica modelele dbt și cum să definești dependențe ierarhice cu funcția `ref`, asigurând astfel execuția corectă a modelelor.

Crearea și generarea documentației dbt

Opțiunile comenzii dbt docs

Fluxul documentației dbt

Crearea documentației dbt

Șabloane Jinja

Ce poate face Jinja?

Procesează un șablon Jinja

Modele ierarhice în dbt

Crearea modelelor ierarhice

Actualizarea ierarhiilor de modele

Mai multe despre modelele dbt

Acest curs te introduce în dbt (data build tool), un instrument popular care a dat naștere ingineriei de analiză pentru crearea și întreținerea pipeline-urilor de tip extragere, transformare și încărcare (ELT). Vei învăța să construiești depozite de date, să realizezi modelare și transformări de date și să concepi teste pentru validarea datelor. Vei folosi comenzi SQL și de shell pentru a efectua o varietate de sarcini cu dbt, descoperind totodată cum să generezi documentație pentru utilizatorii depozitului tău de date!

dbt, sau data build tool, a luat lumea datelor cu asalt. Acest curs vă introduce în conceptele, terminologia și metodele de utilizare a dbt pentru a implementa un exemplu de data warehouse. Vei înțelege ce este dbt, când ar trebui folosit și care sunt cele mai bune practici în implementarea data warehousing-ului. Vei lucra cu seturi de date reale și vei efectua operațiuni de extragere, încărcare și transformare, așa cum sunt implementate în rolurile de analist de date, inginer de date și inginerie analitică.

Cursanții vor dezvolta abilitățile necesare pentru a defini un data warehouse de la zero, a modela și transforma datele și a crea teste! Acest curs îți va oferi o bază solidă pe care să construiești în parcursul tău dbt, indiferent de tipul de data warehouse pe care intenționezi să îl implementezi. Câștigă încredere în modul și momentul în care să folosești dbt, lucrând prin exerciții care folosesc SQL și comenzi shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Acest curs introduce dbt pentru modelare de date, transformări, testare și documentare.

Acest curs prezintă dbt pentru modelarea datelor, transformări, testare și crearea documentației.

Inițializarea unui proiect dbt

Introducere în dbt

Exercițiu interactiv practic