Dowiedz się, dlaczego powstało dbt i jak wykorzystuje się je do tworzenia projektów transformacji danych.

Podstawy dbt

This is the code editor window. The terminal window is the panel below.

Run the following command in the terminal area:
  
dbt

Uruchamianie polecenia dbt

Wprowadzenie do dbt

Wersja dbt

Uzyskiwanie pomocy

Opcje

Prawdopodobnie używa dbt

Raczej nie używa dbt

Użytkownicy dbt

Tworzenie projektu dbt

Project Name: nyc_yellow_taxi
Database type: duckdb


Run the following commands in the terminal window:


dbt init


Note: You will need to specify the project name (nyc_yellow_taxi) and
select the database type ([1] duckdb)
  
Once complete run:
  
cd nyc_yellow_taxi

ls


Inicjalizacja projektu dbt

# Modify the project name
____:
  outputs:
    dev:
      # Change the database type
      type: ____
      path: dbt.duckdb
  target: dev


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev
  



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with src_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev


Run the following command in the terminal after editing the profiles.yml file:
  
dbt debug


Tworzenie profilu projektu

Witaj w dbt

Przejdź do praktyki i zacznij pracować z modelami danych – twórz modele SQL w dbt. Poznaj podstawowe modele SQL, definiuj zależności, aktualizuj modele i rozwiązuj typowe problemy.

Praca z pierwszym projektem

Przepływ pracy w projekcie dbt

Uruchamianie projektu

Czym jest model dbt?

Cechy modelu danych

Tworzenie modelu dbt

Aktualizowanie modeli dbt

Pliki konfiguracyjne

Aktualizowanie modelu dbt

Projekty i modele w dbt

Naucz się używać szablonów Jinja, aby upraszczać modele dbt, oraz definiować hierarchiczne zależności za pomocą funkcji `ref`, która zapewnia poprawną kolejność wykonywania modeli.

Tworzenie i generowanie dokumentacji dbt

Opcje polecenia dbt docs

Proces tworzenia dokumentacji dbt

Tworzenie dokumentacji dbt

Szablony Jinja

Co potrafi Jinja?

Przetwarzanie szablonu Jinja

Modele hierarchiczne w dbt

Hierarchiczne tworzenie modeli

Aktualizacja hierarchii modeli

Więcej o modelach w dbt

Ten kurs zapozna cię z dbt (data build tool) – popularnym narzędziem, które zapoczątkowało nową dziedzinę zwaną inżynierią analityczną, służącą do tworzenia i utrzymywania potoków ELT (extract, transform, load). Nauczysz się budować hurtownie danych, tworzyć modele i transformacje danych oraz projektować testy do walidacji danych. Do wykonywania różnych zadań w dbt będziesz używać SQL-a i poleceń powłoki, a także poznasz sposoby generowania dokumentacji dla użytkowników hurtowni!

dbt, czyli data build tool, szturmem podbił świat danych. Ten kurs wprowadza Cię w koncepcje, terminologię i metody korzystania z dbt do wdrożenia przykładowego hurtowni danych. Zdobędziesz zrozumienie, czym jest dbt, kiedy należy go używać oraz jakie są najlepsze praktyki podczas wdrażania hurtowni danych. Będziesz pracować z rzeczywistymi zbiorami danych i wykonywać operacje ekstrakcji, ładowania i transformacji, tak jak w rolach analityka danych, inżyniera danych i inżyniera analityki.

Uczestnicy rozwiną umiejętności potrzebne do zdefiniowania hurtowni danych od podstaw, modelowania i przekształcania danych oraz tworzenia testów! Ten kurs zapewni Ci solidne podstawy, na których zbudujesz swoją dalszą drogę z dbt, niezależnie od rodzaju hurtowni danych, którą zamierzasz wdrożyć. Zdobądź pewność, kiedy i jak używać dbt, wykonując ćwiczenia z użyciem SQL i poleceń powłoki.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Kurs wprowadza dbt do modelowania danych, transformacji, testowania i tworzenia dokumentacji.

Ten kurs wprowadza dbt do modelowania danych, transformacji, testowania i tworzenia dokumentacji.

Inicjalizacja projektu dbt

Wprowadzenie do dbt

Interaktywne ćwiczenie praktyczne