Lerne, wie du Datenqualität mit fortgeschrittenen Testtechniken in dbt sicherstellst. Erkunde eingebaute, singuläre und wiederverwendbare Tests, um Modelle, Sources und Seeds zu validieren. Verstehe, wie du benutzerdefinierte Tests mit Jinja definierst, Fehler behebst und deinen Validierungs-Workflow optimierst, um Inkonsistenzen zu entdecken, bevor sie nachgelagerte Analysen beeinflussen.

Einführung in Tests in dbt

Eingebaute Tests

Tests für ein Modell definieren

Schlechte Daten finden

Singuläre Tests erstellen

Schritte zur Entwicklung eines Singular-Tests

Fahrtdauer überprüfen

Testabfragen prüfen

Eigene wiederverwendbare Tests erstellen

Testing, testing, testing

Einen wiederverwendbaren Test implementieren

Von einem singular zu einem wiederverwendbaren Test aktualisieren

Tests & Dokumentation

Hebe deine dbt-Skills auf das nächste Level, indem du skalierbare, produktionsreife Workflows implementierst. Lerne, wie du dbt Sources und Seeds zur Verbesserung der Datenherkunft nutzt, Snapshots zur Nachverfolgung historischer Änderungen einsetzt und deine Transformationen mit dbt build automatisierst. Am Ende bist du bereit, umfangreiche Datenpipelines souverän zu betreiben.

dbt sources

Optionen

Nur dbt-Models

Gemeinsam für Models und Sources

Nur dbt-Sources

Models, Sources oder beides?

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from ____
        


version: 2

sources:
  - name: ____
    tables:
      - name: taxi_rides


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw'))
print(con.sql('select count(*) from taxi_rides_raw'))
if (con.execute('select count(*) from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
  
dbt run
datacheck

{{ config(materialized='view')}}

select * from {{ source('raw', 'taxi_rides') }}
        


version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides


Run the following commands in the terminal:
  
dbt run
./datacheck

Eine Source hinzufügen

dbt seeds

Kerne der Wahrheit

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

seeds:
  - name: ____
    config:
      column_types:
        ____: ____(5)


#!/usr/bin/env python3
import duckdb
import os.path

try:
  con = duckdb.connect('dbt.duckdb', read_only=True)
  print(con.sql('select * from nynj_zipcodes'))
  if (con.execute('select count(*) as total_zipcodes from nynj_zipcodes').fetchall()[0][0] == 2877):
    print("Your data counts are correct!")
    with open('/home/repl/workspace/successful_data_check', 'w') as f:
      f.write('2877')
  else:
    print("There appears to be an issue with your data counts.")
except duckdb.CatalogException:
  if not os.path.isfile('/home/repl/workspace/nyc_yellow_taxi/seeds/nynj_zipcodes.csv'):
    print("It looks like the nynj_zipcodes.csv file is\n not present in the seeds/ directory.\n\nPlease move the file and try again.\n")
  else:
    print("It looks like your data warehouse doesn't exist yet\n\n Please run the dbt seed command and try again.\n")

version: 2

seeds:
  - name: nynj_zipcodes
    config:
      column_types:
        zipcode: varchar(5)


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from nynj_zipcodes'))
if (con.execute('select * as total_zipcodes from nynj_zipcodes').fetchall()[0][1] == 2877):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('2877')


- Run the following command in the terminal window (or drag and drop the nynj_zipcodes.csv file into the seeds folder using the file explorer window.)

mv nynj_zipcodes.csv seeds/

- Modify the properties.yml file as described in the solution.

- Run dbt seed in the terminal window.

- Run the command ./datacheck in the terminal window and verify you see zipcode information in the printed table.

ZIP ist der Code

SCD2 mit dbt Snapshots (alt)

Ablauf zur Snapshot-Erstellung

Snapshot-Prozess

Snapshot-Problem

version: 2

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


____

{{
    config(
      target_schema='main',
      unique_key='____',
      strategy='timestamp',
      updated_at='____'
    )
}}

select * from ____
{% endsnapshot %}


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('raw', 'vehicle_list') }}
{% endsnapshot %}


- Edit the snapshot_vehicle_list.sql file as shown
- Run the command dbt snapshot

Einen Snapshot hinzufügen

Automatisieren mit dbt build

dbt build führt diesen Schritt aus

dbt build führt dies *nicht* aus

Was kann dbt build nicht?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}

select * from 'taxi_rides'
        


{% snapshot vehicle_list_snapshot %}

{{
    config(
      target_schema='main',
      unique_key='license_id',
      strategy='timestamp',
      updated_at='last_updated'
    )
}}

select * from {{ source('new', 'vehicle_list') }}
{% endsnapshot %}


with avg_daily_fare as (
  select date_part('day', tpep_pickup_datetime) as day,
         avg(total_amount) as avg_amount
  from {{ ref('taxi_rides_raw') }}
  group by day
  order by day
)
select * from avg_daily_fare


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public

sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public
  - name: avg_ride_cost_per_day
    description: Avg amount spent per ride, per day
    access: public
sources:
  - name: raw
    tables:
      - name: taxi_rides
      - name: vehicle_list


- Run dbt build and look for errors. You should see an issue in the snapshots/vehicle_list_snapshot.sql.

- Edit this file as shown.

- Run dbt build again. You should see errors relating to the models/taxi_rides_raw.sql file.

- Edit this file as shown.

- Run dbt build once more and you should not see any errors.

Dem Praktikanten helfen!

Run the following commands in the terminal:

dbt build
dbt docs generate
dbt docs serve

Alles zusammenführen

dbt in der Produktion einsetzen

Bring deine dbt-Skills mit diesem praxisnahen Kurs für Data Engineers und Analytics-Profis auf das nächste Level. Du erkundest erweiterte dbt-Funktionen, darunter individuelle Teststrategien, wiederverwendbare Tests, Sources, Seeds und Snapshots, um historische Datenänderungen nachzuverfolgen. Lerne, wie du dbt-Pipelines mit dbt build automatisierst und so zuverlässige und effiziente Transformationen in Produktionsumgebungen sicherstellst. Mit interaktiven Übungen und realitätsnahen Szenarien gewinnst du die Sicherheit, dbt in groß angelegten Daten-Workflows einzusetzen.

<h2>DBT-Workflows meistern</h2>
<p>Bring deine DBT-Kenntnisse auf die nächste Stufe und lerne, wie du robuste, skalierbare Datenumwandlungs-Workflows in einer Produktionsumgebung einsetzt. Dieser Kurs ist für Dateningenieure, Analysten und Analytikingenieure gedacht, die über die Grundlagen hinausgehen und praktische Erfahrungen mit fortgeschrittenen dbt-Funktionen sammeln wollen.</p>

<h2>Mit ausgeklügelten Tests die Datenqualität sichern</h2>
<p>Der Aufbau zuverlässiger Datenpipelines fängt mit der Validierung an. Du lernst fortgeschrittene Testtechniken kennen, um Dateninkonsistenzen zu erkennen, erstellst benutzerdefinierte wiederverwendbare Tests, um die Validierung über Modelle hinweg zu standardisieren, und wendest Tests auf Quellen und Seeds an, um eine bessere Governance und Nachverfolgbarkeit der Datenherkunft zu erreichen.</p>

<h2>Nutze dbt-Quellen, Seeds und Snapshots</h2>
<p>Finde heraus, wie dbt-Quellen die Dokumentation und Herkunft verbessern und gleichzeitig die Rückverfolgbarkeit von Rohdaten sicherstellen können. Lerne, wie du dbt-Seeds nutzen kannst, um kleine, statische Datensätze effizient zu verwalten. Dann lerne, wie du mit dbt-Snapshots langsam Dimensionsänderungen (SCD2) machst, damit du mit wenig Aufwand die historischen Änderungen in deinem Data Warehouse verfolgen kannst.</p>

<h2>Automatisieren und optimieren mit dbt Build</h2>
<p>Effizienz ist in Produktionsumgebungen echt wichtig. Du lernst, wie du mit dbt build Arbeitsabläufe optimieren kannst, indem du die Ausführung von Modellen, Tests und Snapshots automatisierst, um zuverlässige Transformationen sicherzustellen. Durch die Optimierung deiner Pipeline verbesserst du die Leistung, Wartbarkeit und Skalierbarkeit deiner dbt-Projekte.</p>

<h2>Setze deine Fähigkeiten in realen Szenarien ein</h2>
<p>Durch interaktive Übungen und praktische Übungen kannst du dein Wissen vertiefen und das Selbstvertrauen gewinnen, DBT in der Praxis anzuwenden. Am Ende des Kurses kannst du produktionsreife dbt-Workflows entwerfen, testen und automatisieren und so hochwertige und gut dokumentierte Transformationen in großem Maßstab sicherstellen.</p>


Introduction to dbt

Verbessern Sie Ihre dbt-Fähigkeiten mit diesem praxisnahen Kurs für Dateningenieure und Analysten.

Fortgeschrittenes dbt

In diesem praxisnahen Kurs für Data Engineers und Analysts vertiefst du deine Kenntnisse rund um dbt.

dbt Grundlagen

Kann in `models/model_properties.yml` definiert sein

Wird über `{{ source(source_name, table_name) }}` aufgerufen

Models, Sources oder beides?

Fortgeschrittenes dbt

Interaktive Übung