Lär dig om bakgrunden till dbt och hur verktyget används för att skapa datatransformationsprojekt.

Grunderna i dbt

Köra ett dbt-kommando

Introduktion till dbt

Version av dbt

Få hjälp

Användare av dbt

Skapa ett dbt-projekt

Initiera ett dbt-projekt

Skapa en projektprofil

Välkommen till dbt

Fördjupa dig i dbt genom att arbeta med datamodeller och skapa SQL-baserade modeller. Du lär dig om grundläggande SQL-modeller, definierar beroenden, uppdaterar modeller och felsöker olika modellproblem.

Arbeta med ett första projekt

Steg i ett dbt-arbetsflöde

dbt-projektets arbetsflöde

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Köra ett projekt

Vad är en dbt-modell?

Alternativ

Stämmer om en datamodell

Stämmer inte om en datamodell

Egenskaper hos en datamodell


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Skapa en dbt-modell

Uppdatera dbt-modeller

Projekt

Endast modell

Konfigurationsfiler


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Uppdatera en dbt-modell

dbt-projekt och modeller

Lär dig att använda Jinja-mallar för att förenkla dbt-modeller och definiera hierarkiska beroenden med funktionen `ref` för att säkerställa korrekt modellexekvering.

Skapa och generera dbt-dokumentation

Kommandoalternativ för dbt docs

dbt-dokumentationsflöde

Skapa dbt-dokumentation

Jinja-mallar

Vad kan Jinja göra?

Bearbeta en Jinja-mall

Hierarkiska modeller i dbt

Hierarkisk modellskapning

Uppdatera modellhierarkier

Mer om dbt-modeller

Den här kursen introducerar dig till dbt (data build tool), ett populärt verktyg som har lagt grunden för analytics engineering och skapandet av ELT-pipelines (extract, transform, load). Du lär dig att bygga datalager, utföra datamodellering och transformationer samt utforma tester för datavalidering. Du använder SQL och shell-kommandon för att utföra olika uppgifter i dbt, och du får dessutom lära dig att generera dokumentation för ditt datalagers användare!

dbt, eller data build tool, har tagit datavärlden med storm. Den här kursen introducerar dig till begreppen, terminologin och metoderna för att använda dbt för att implementera ett exempel på ett datalager. Du får en förståelse för vad dbt är, när det bör användas och bästa praxis vid implementering av datalagring. Du kommer att arbeta med verkliga datamängder och utföra extrahera-, ladda- och transformera-operationer så som de används i roller som dataanalytiker, dataingenjör och analytics engineer.

Eleverna kommer att utveckla färdigheterna för att definiera ett datalager från grunden, modellera och transformera data samt bygga tester! Den här kursen ger dig en stabil grund att bygga vidare på i din dbt-resa, oavsett vilken typ av datalager du planerar att implementera. Få självförtroende i hur och när du ska använda dbt genom att arbeta igenom övningar med SQL och shell-kommandon.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Denna kurs introducerar dbt för datamodellering, transformationer, testning och dokumentation.

Den här kursen introducerar dbt för datamodellering, transformationer, testning och att bygga dokumentation.

dbt-grunderna

Professionell dataingenjör i Python

Klassificerar gemensamma attribut om data

Egenskaper hos en datamodell

Introduktion till dbt

Interaktiv övning med praktiskt arbete