Scopri le ragioni alla base dell'esistenza di dbt e come viene usato per creare progetti di trasformazione dei dati.

Fondamenti di dbt

Eseguire il comando dbt

Introduzione a dbt

Versione di dbt

Ottenere aiuto

Chi usa dbt

Creare un progetto dbt

Inizializzare un progetto dbt

Creare un profilo di progetto

Benvenuto in dbt

Entra nel vivo di dbt lavorando con i modelli di dati e creando modelli basati su SQL all'interno di dbt. Impara i modelli SQL di base, definisci le dipendenze, aggiorna e risolvi diversi problemi dei modelli.

Lavorare con un primo progetto

Fasi di un flusso di lavoro dbt

Flusso di lavoro di un progetto dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Esecuzione di un progetto

Che cos'è un modello dbt?

Opzioni

Vero per un modello di dati

Falso per un modello di dati

Caratteristiche di un modello di dati


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Creare un modello dbt

Aggiornare i modelli dbt

Progetto

Solo modello

File di configurazione


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Aggiornare un modello dbt

Progetti e modelli in dbt

Impara a usare i template Jinja per semplificare i modelli dbt e definire dipendenze gerarchiche con la funzione `ref` per garantire l'esecuzione corretta dei modelli.

Creare e generare la documentazione di dbt

Opzioni del comando dbt docs

Flusso della documentazione dbt

Creare la documentazione di dbt

Template Jinja

Cosa può fare Jinja?

Elaborare un template Jinja

Modelli gerarchici in dbt

Creazione di modelli gerarchici

Aggiornare le gerarchie dei modelli

Altri aspetti dei modelli dbt

Questo corso ti introduce a dbt (data build tool), uno strumento molto diffuso che ha dato impulso all'analytics engineering per la creazione e la manutenzione di pipeline di extract, transform, and load (ELT). Imparerai a costruire data warehouse, eseguire data modeling e trasformazioni, e progettare test per la validazione dei dati. Userai SQL e comandi da shell per svolgere diverse attività con dbt e scoprirai come generare documentazione per gli utenti del tuo warehouse!

Il dbt, o data build tool, ha preso d'assalto il mondo dei dati. Questo corso ti spiega i concetti, i termini e i metodi per usare dbt per creare un data warehouse di esempio. Capirai cos'è il dbt, quando è meglio usarlo e quali sono le migliori pratiche per implementare il data warehousing. Lavorerai con dati reali e farai operazioni di estrazione, caricamento e trasformazione, proprio come si fa nei ruoli di analista dati, ingegnere dati e ingegnere analitico.

Gli studenti impareranno a creare un data warehouse da zero, modellare e trasformare i dati e fare dei test! Questo corso ti darà una base solida su cui costruire il tuo percorso con DBT, indipendentemente dal tipo di data warehouse che vuoi implementare. Acquisisci sicurezza su come e quando usare dbt facendo esercizi con SQL e comandi shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Questo corso introduce dbt per modellazione dati, trasformazioni, test e creazione documentazione.

Questo corso ti spiega cos'è il DBT per modellare i dati, trasformarli, testarli e creare la documentazione.

File di configurazione

Introduzione a dbt

esercizio interattivo pratico