Lerne die Gründe für die Existenz von dbt kennen und wie es zur Erstellung von Datentransformationsprojekten eingesetzt wird.

Grundlagen von dbt

Den dbt-Befehl ausführen

Einführung in dbt

Version von dbt

Hilfe erhalten

Nutzer:innen von dbt

Ein dbt-Projekt erstellen

Ein dbt-Projekt initialisieren

Ein Projektprofil erstellen

Willkommen bei dbt

Tauche in den Kern von dbt ein, indem du mit Datenmodellen arbeitest und SQL-basierte Modelle in dbt erstellst. Lerne grundlegende SQL-Modelle kennen, definiere Abhängigkeiten, aktualisiere und behebe verschiedene Modellprobleme.

Mit einem ersten Projekt arbeiten

dbt-Projekt-Workflow

Ein Projekt ausführen

Was ist ein dbt-Modell?

Merkmale eines Datenmodells

Ein dbt-Modell erstellen

dbt-Modelle aktualisieren

Konfigurationsdateien

Ein dbt-Modell aktualisieren

dbt-Projekte und -Modelle

Lerne, wie du Jinja-Templates nutzt, um dbt-Modelle zu vereinfachen, und definiere hierarchische Abhängigkeiten mit der `ref`-Funktion, um eine korrekte Modellausführung sicherzustellen.

dbt-Dokumentation erstellen und generieren

Optionen für den Befehl dbt docs

dbt-Dokumentationsprozess

Ablauf der dbt-Dokumentation

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Erstellen von dbt-Dokumentation

Jinja-Templates

Was kann Jinja?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Eine Jinja-Vorlage verarbeiten

Hierarchische Modelle in dbt

Reihenfolge der Modellerstellung

Hierarchische Modellerstellung


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Aktualisieren von Modellhierarchien

Mehr zu dbt-Modellen

Dieser Kurs führt dich in dbt (data build tool) ein, ein beliebtes Tool, das Analytics Engineering für die Erstellung und Wartung von Extract-Transform-Load-(ELT)-Pipelines vorangebracht hat. Du lernst, Data Warehouses aufzubauen, Datenmodellierung und -transformationen durchzuführen und Tests zu entwerfen, um Daten zu validieren. Mit SQL und Shell-Befehlen erledigst du verschiedene Aufgaben mit dbt und erfährst außerdem, wie du Dokumentation für die Nutzer deines Warehouses generierst!

dbt, das Data Build Tool, hat die Datenwelt im Sturm erobert. In diesem Kurs lernst du die Konzepte, Begriffe und Methoden von dbt kennen, um ein Beispiel-Data-Warehouse zu erstellen. Du lernst, was DBT ist, wann man es nutzen sollte und welche Best Practices es bei der Implementierung von Data Warehousing gibt. Du arbeitest mit echten Datensätzen und machst Extraktions-, Lade- und Transformationsvorgänge, wie sie in den Bereichen Datenanalyse, Datenengineering und Analytik-Engineering gemacht werden.

Die Lernenden werden die Fähigkeiten entwickeln, ein Data Warehouse von Grund auf zu definieren, Daten zu modellieren und zu transformieren sowie Tests zu erstellen! Dieser Kurs gibt dir eine solide Basis für deine DBT-Reise, egal welche Art von Data Warehouse du einrichten willst. Gewinne Sicherheit im Umgang mit dbt, indem du Übungen mit SQL- und shell-Befehlen machst.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Dieser Kurs führt in dbt für Datenmodellierung, Transformationen, Tests und Dokumentation ein.

Dieser Kurs zeigt dir, wie du DBT für die Datenmodellierung, Transformationen, Tests und das Erstellen von Dokumentationen nutzt.

dbt Grundlagen

Professioneller Dateningenieur in Python

Dokumentation zu Modellen, Tests usw. hinzufügen

Mit `dbt docs generate` die Dokumentationsdateien erzeugen

Ablauf der dbt-Dokumentation

Einführung in dbt

Interaktive Übung