Lerne, wie du Datenqualität mit fortgeschrittenen Testtechniken in dbt sicherstellst. Erkunde eingebaute, singular und wiederverwendbare Tests, um Modelle, Quellen und Seeds zu validieren. Verstehe, wie du benutzerdefinierte Tests mit Jinja definierst, Fehler behebst und deinen Validierungs-Workflow optimierst, um Unstimmigkeiten zu erkennen, bevor sie nachgelagerte Analysen beeinträchtigen.

Einführung in das Testen in dbt

Optionen

Eingebaut

Nicht eingebaut

Vordefinierte Test

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: ____
    # Define the two tests
      tests:
        - ____
        - ____
            ____: [1, 2, 3, ____]


Run the following commands in the terminal:
  
dbt run
dbt test

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    # Enter the name of the column
    - name: payment_type
    # Define the two tests
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6] 


Tests für ein Modell definieren

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data ____


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - not_null
    - name: payment_type
      tests:
        - not_null
        - accepted_values:
            values: [1, 2, 3, 4, 5, 6]


Run the following commands in the terminal:
  
dbt run

{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

-- Add a filter / WHERE clause to the line below
select * from source_data where payment_type != 0


Run the following command in the terminal:
  
dbt run

Schlechte Daten aufspüren

Erstellen von Singular-Tests

Entwicklungschritte eines Singular-Tests

Singular-Test: Entwicklungsschritte

select * 
from taxi_rides_raw
-- Complete the test on the following line


Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

select * 
from taxi_rides_raw
-- Complete the test on the following line
where tpep_pickup_datetime = tpep_dropoff_datetime


The appropriate filter has been added to assert_trip_duration_gt_0.sql

Run the following command in the terminal:
  
dbt test --select assert_trip_duration_gt_0.sql

Fahrtdauer überprüfen

Gültige Testabfrage

Ungültige Testabfrage

Testabfragen überprüfen

Erstellung individueller wiederverwendbarer Tests

Wiederverwendbar

Singular

Testen, testen, testen

version: 2

# Replace any entry of ____ with the appropriate content
models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - ____
    - name: ____
      tests:
        - check_gt_0
        


{% test ____(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}



version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: fare_amount
      tests:
        - check_gt_0
    - name: total_amount
      tests:
        - check_gt_0


{% test check_gt_0(model, column_name) %}
select * 
from {{ model }}
where {{ column_name }} <= 0
{% endtest %}


- Update the check_gt_0.sql file as shown in the solution. (Note, the last character is a zero)
- Update the model_properties.yml file as shown.
- Run dbt run in the terminal window
- Run dbt test --select taxi_rides_raw or dbt test --select taxi_rides_raw.sql in the terminal window

Einen wiederverwendbaren Test implementieren

version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - ____:
            ____: ____


select * 
from taxi_rides_raw
where tpep_pickup_datetime = tpep_dropoff_datetime


{% test ____(model, column_name, column_name2) %}
select *
from {{ model }}
____
{% endtest %}


version: 2

models:
- name: taxi_rides_raw
  columns:
    - name: tpep_pickup_datetime
      tests:
        - columns_equal:
            column_name2: tpep_dropoff_datetime


{% test columns_equal(model, column_name, column_name2) %}
select *
from {{ model }}
where {{ column_name }} = {{ column_name2 }}
{% endtest %}


- Edit the columns_equal.sql file as shown.
- Edit the model_properties.yml file as shown.
- Run dbt run in the terminal.
- Run dbt test --select taxi_rides_raw.sql or dbt test --select taxi_rides_raw in the terminal.

Vom singular zum wiederverwendbaren Test

Tests & Dokumentation

Hebe deine dbt-Skills aufs nächste Level, indem du skalierbare, produktionsreife Workflows umsetzt. Lerne, wie du dbt Quellen und Seeds nutzt, um die Datenherkunft zu verbessern, Snapshots implementierst, um historische Änderungen nachzuverfolgen, und deine Transformationen mit dbt build automatisierst. Am Ende bist du in der Lage, große Daten-Pipelines souverän zu managen.

Quellen in dbt

Modelle, Quellen oder beides?

Eine Quelle hinzufügen

dbt Seeds

Der Kern der Wahrheit

Von ZIP zum Seed

SCD2 mit dbt Snapshots

Snapshot-Prozess

Snapshot-Problem

Einen Snapshot hinzufügen

Automatisierung mit dbt build

Was dbt build nicht kann

Dem Praktikanten helfen!

Von vorne bis hinten

dbt-Einsatz in der Produktion

Bring deine dbt-Skills mit diesem praxisnahen Kurs für Data Engineers und Analytics-Profis auf das nächste Level. Du erkundest fortgeschrittene dbt-Funktionen, darunter individuelle Teststrategien, wiederverwendbare Tests, Sources, Seeds und Snapshots, um historische Datenänderungen nachzuverfolgen. Lerne, wie du dbt-Pipelines mit dbt build automatisierst und so verlässliche und effiziente Transformationen in Produktionsumgebungen sicherstellst. Mit interaktiven Übungen und realistischen Szenarien gewinnst du die Sicherheit, dbt in groß angelegten Daten-Workflows einzusetzen.

<h2>DBT-Workflows meistern</h2>
<p>Bring deine DBT-Kenntnisse auf die nächste Stufe und lerne, wie du robuste, skalierbare Datenumwandlungs-Workflows in einer Produktionsumgebung einsetzt. Dieser Kurs ist für Dateningenieure, Analysten und Analytikingenieure gedacht, die über die Grundlagen hinausgehen und praktische Erfahrungen mit fortgeschrittenen dbt-Funktionen sammeln wollen.</p>

<h2>Mit ausgeklügelten Tests die Datenqualität sichern</h2>
<p>Der Aufbau zuverlässiger Datenpipelines fängt mit der Validierung an. Du lernst fortgeschrittene Testtechniken kennen, um Dateninkonsistenzen zu erkennen, erstellst benutzerdefinierte wiederverwendbare Tests, um die Validierung über Modelle hinweg zu standardisieren, und wendest Tests auf Quellen und Seeds an, um eine bessere Governance und Nachverfolgbarkeit der Datenherkunft zu erreichen.</p>

<h2>Nutze dbt-Quellen, Seeds und Snapshots</h2>
<p>Finde heraus, wie dbt-Quellen die Dokumentation und Herkunft verbessern und gleichzeitig die Rückverfolgbarkeit von Rohdaten sicherstellen können. Lerne, wie du dbt-Seeds nutzen kannst, um kleine, statische Datensätze effizient zu verwalten. Dann lerne, wie du mit dbt-Snapshots langsam Dimensionsänderungen (SCD2) machst, damit du mit wenig Aufwand die historischen Änderungen in deinem Data Warehouse verfolgen kannst.</p>

<h2>Automatisieren und optimieren mit dbt Build</h2>
<p>Effizienz ist in Produktionsumgebungen echt wichtig. Du lernst, wie du mit dbt build Arbeitsabläufe optimieren kannst, indem du die Ausführung von Modellen, Tests und Snapshots automatisierst, um zuverlässige Transformationen sicherzustellen. Durch die Optimierung deiner Pipeline verbesserst du die Leistung, Wartbarkeit und Skalierbarkeit deiner dbt-Projekte.</p>

<h2>Setze deine Fähigkeiten in realen Szenarien ein</h2>
<p>Durch interaktive Übungen und praktische Übungen kannst du dein Wissen vertiefen und das Selbstvertrauen gewinnen, DBT in der Praxis anzuwenden. Am Ende des Kurses kannst du produktionsreife dbt-Workflows entwerfen, testen und automatisieren und so hochwertige und gut dokumentierte Transformationen in großem Maßstab sicherstellen.</p>


Introduction to dbt

Verbessern Sie Ihre dbt-Fähigkeiten mit diesem praxisnahen Kurs für Dateningenieure und Analysten.

dbt für Forgeschrittene

In diesem praxisnahen Kurs für Data Engineers und Analysts vertiefst du deine Kenntnisse rund um dbt.

dbt Grundlagen

`SELECT * FROM taxi_rides_raw WHERE tpep_pickup_datetime = tpep_dropoff_datetime`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime = 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime - tpep_pickup_datetime >= 0`

`SELECT * FROM taxi_rides_raw WHERE tpep_dropoff_datetime > tpep_pickup_datetime`

Testabfragen überprüfen

Interaktive praktische Übung