Kom erachter waarom dbt bestaat en hoe het wordt gebruikt om projecten voor datatransformatie te maken.

De basis van dbt

De dbt-opdracht uitvoeren

Kennismaken met dbt

Versie van dbt

Hulp opvragen

Gebruikers van dbt

Een dbt-project maken

Een dbt-project initialiseren

Een projectprofiel maken

Welkom bij dbt

Duik in de kern van dbt door met datamodellen te werken en SQL-gebaseerde modellen in dbt te maken. Leer over basismodellen in SQL, definieer afhankelijkheden, werk bij en los verschillende modelproblemen op.

Aan de slag met je eerste project

Stappen van een dbt-workflow

Workflow van een dbt-project

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Een project uitvoeren

Wat is een dbt-model?

Opties

Waar voor een datamodel

Onwaar voor een datamodel

Kenmerken van een datamodel


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Een dbt-model maken

dbt-modellen bijwerken

Project

Alleen model

Configuratiebestanden


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Een dbt-model bijwerken

dbt-projecten en -modellen

Leer hoe je Jinja-templates gebruikt om dbt-modellen te vereenvoudigen en hiërarchische afhankelijkheden te definiëren met de functie `ref` om correcte modeluitvoering te garanderen.

dbt-documentatie maken en genereren

Opties voor het dbt docs-commando

dbt-documentatiestroom

dbt-documentatie maken

Jinja-templates

Wat kan Jinja?

Verwerk een Jinja-template

Hiërarchische modellen in dbt

Hiërarchische modelcreatie

Hiërarchieën van modellen bijwerken

Meer over dbt-modellen

Deze cursus maakt je wegwijs in dbt (data build tool), een populair hulpmiddel dat heeft geleid tot analytics engineering voor het maken en onderhouden van extract-, transform- en load-(ELT)pipelines. Je leert datawarehouses bouwen, datamodellering en transformaties uitvoeren en tests ontwerpen om gegevens te valideren. Je gebruikt SQL en shell-opdrachten om allerlei taken met dbt uit te voeren en ontdekt hoe je documentatie voor je warehouse-gebruikers kunt genereren!

dbt, oftewel de data build tool, heeft de datawereld helemaal op zijn kop gezet. Deze cursus laat je kennismaken met de concepten, termen en manieren om dbt te gebruiken om een voorbeeld van een datawarehouse te maken. Je leert wat dbt is, wanneer je het moet gebruiken en wat de beste manieren zijn om datawarehousing te implementeren. Je gaat met echte datasets werken en dingen doen als extractie, laden en transformeren, zoals je dat ook doet in functies als data-analist, data-engineer en analytics-engineer.

Je leert hoe je een datawarehouse helemaal zelf kunt opzetten, data kunt modelleren en transformeren, en tests kunt maken! Deze cursus geeft je een stevige basis om verder te bouwen in je DBT-reis, ongeacht het type datawarehouse dat je wilt implementeren. Krijg meer vertrouwen in hoe en wanneer je dbt kunt gebruiken door oefeningen te doen met SQL en shell-commando's.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Deze cursus introduceert dbt voor datamodellering, transformaties, testen en documentatie.

Introductie tot dbt

Deze cursus laat je kennismaken met dbt voor het modelleren, transformeren en testen van data en het maken van documentatie.

dbt-basisprincipes

Professionele data-engineer in Python

Maak gegevensbestemmingen aan in het bestand `profiles.yml` 

Controleer de inhoud in het data warehouse

Workflow van een dbt-project

Introductie tot dbt

Interactieve oefening met praktijkervaring