Erfahre mehr über die Gründe für die Existenz von dbt und wie es verwendet wird, um Daten-Transformationsprojekte zu erstellen.

Grundlagen von Git

Ausführen des dbt-Befehls

Einführung in dbt

dbt-Version

Hilfe bekommen

dbt-Nutzer

Ein dbt-Projekt erstellen

Ein dbt-Projekt initialisieren

Ein Projektprofil erstellen

Willkommen zu dbt

Lerne die Funktionsweise von dbt kennen, indem du mit Datenmodellen arbeitest und SQL-basierte Modelle innerhalb von dbt erstellst. Lerne grundlegende SQL-Modelle kennen, definiere Abhängigkeiten, aktualisiere und behebe verschiedene Modellprobleme.

Dein erstes Projekt

dbt-Workflow-Schritte

dbt-Projekt-Workflow

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Ein Projekt ausführen

Was ist ein dbt-Modell?

Optionen

Zutreffend für ein Datenmodell

Nicht zutreffend für ein Datenmodell

Merkmale eines Datenmodells


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Ein dbt-Modell erstellen

Aktualisierung von dbt-Modellen

Gesamtes Projekt

Nur Modellebene

Konfigurationsdateien


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Aktualisierung eines dbt-Modells

dbt-Projekte und Modelle

Lerne, wie du Jinja-Templates verwendest, um dbt-Modelle zu vereinfachen und hierarchische Abhängigkeiten mit der `ref`-Funktion zu definieren, um die korrekte Modellausführung sicherzustellen.

Erstellen und Generieren von dbt-Dokumentation

dbt docs-Befehlsoptionen

dbt-Dokumentationsablauf

Erstellen einer dbt-Dokumentation

Jinja-Vorlagen

Was kann Jinja?

Eine Jinja-Vorlage verarbeiten

Hierarchische Modelle in dbt

Hierarchische Modellerstellung

Modellhierarchien aktualisieren

Mehr zu dbt Modellen

Dieser Kurs führt dich in dbt (data build tool) ein. Es ist ein beliebtes Tool, das zur Entstehung von Analytics Engineering für die Erstellung und Wartung von extract, transform, and load (ELT) Pipelines beigetragen hat. Du lernst, Data Warehouses zu erstellen, Data Modeling und Transformationen durchzuführen und Tests zu entwerfen, um Datenvalidierungen durchzuführen. Du wirst SQL und Shell-Befehle verwenden, um mit dbt eine Vielzahl von Aufgaben auszuführen, und erkunden, wie du eine Dokumentation für die Nutzer deines Warehouses generierst!

dbt, das Data Build Tool, hat die Datenwelt im Sturm erobert. In diesem Kurs lernst du die Konzepte, Begriffe und Methoden von dbt kennen, um ein Beispiel-Data-Warehouse zu erstellen. Du lernst, was DBT ist, wann man es nutzen sollte und welche Best Practices es bei der Implementierung von Data Warehousing gibt. Du arbeitest mit echten Datensätzen und machst Extraktions-, Lade- und Transformationsvorgänge, wie sie in den Bereichen Datenanalyse, Datenengineering und Analytik-Engineering gemacht werden.

Die Lernenden werden die Fähigkeiten entwickeln, ein Data Warehouse von Grund auf zu definieren, Daten zu modellieren und zu transformieren sowie Tests zu erstellen! Dieser Kurs gibt dir eine solide Basis für deine DBT-Reise, egal welche Art von Data Warehouse du einrichten willst. Gewinne Sicherheit im Umgang mit dbt, indem du Übungen mit SQL- und shell-Befehlen machst.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Dieser Kurs führt in dbt für Datenmodellierung, Transformationen, Tests und Dokumentation ein.

Dieser Kurs zeigt dir, wie du DBT für die Datenmodellierung, Transformationen, Tests und das Erstellen von Dokumentationen nutzt.

dbt Grundlagen

Professioneller Dateningenieur in Python

Datenziele in der `profiles.yml`-Datei erstellen

dbt-Projekt-Workflow

Interaktive praktische Übung