Sıfırdan bir dbt projesi kurma pratiği yap. Farklı veri türlerini dbt projesine yükleme ve çeşitli aşama (staging) dbt modelleri oluşturma becerilerini uygula. Bu bölüm, ELT sürecinin E ve L kısımlarına odaklanır.

dbt vaka çalışmasına giriş

dbt kurulumunu kontrol et

dbt projesini başlat

dbt projesini kurma ve veriyi yükleme

version: 2

seeds:
  - name: looker__distribution_centers



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'looker_ecommerce'
version: '1.0.0'

# This setting configures which "profile" dbt uses for this project.
profile: 'looker_ecommerce'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


looker_ecommerce:
  outputs:
    dev:
      type: duckdb
      path: /home/repl/dbt.duckdb
  target: dev


id,name,latitude,longitude
1,Memphis TN,35.1174,-89.9711
2,Chicago IL,41.8369,-87.6847
3,Houston TX,29.7604,-95.3698
4,Los Angeles CA,34.05,-118.25
5,New Orleans LA,29.95,-90.0667
6,Port Authority of New York/New Jersey NY/NJ,40.634,-73.7834
7,Philadelphia PA,39.95,-75.1667
8,Mobile AL,30.6944,-88.0431
9,Charleston SC,32.7833,-79.9333
10,Savannah GA,32.0167,-81.1167

Dağıtım merkezini bir dbt seed dosyası olarak yükle

version: 2

models:
  - name: _____ # Fill in the model name
    description: _____ # Fill in an informative description of the model


SELECT *
FROM {{ ref('looker__distribution_centers') }}

version: 2

models:
  - name: stg_looker__distribution_centers # Fill in the model name
    description: Distribution center name and location # Fill in an informative description of the model


Dağıtım merkezi aşama modelini oluştur

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: ____ # Fill in the staging model name 
    description: Users demographics and location information 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: ____ 	# Fill in the source name

SELECT *
FROM {{ source(____, ____) }} -- Fill in the source 

SELECT *
FROM {{ source('looker_ecommerce', 'users') }} -- Fill in the source 

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users 	# Fill in the source name

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users # Fill in the staging model name 
    description: Users demographics and location information

dbt source ile kullanıcı modelini yükle ve oluştur

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
        
    # Fill in for the staging model for products
    

SELECT *
FROM {{ source('looker_ecommerce', 'users') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      ____

SELECT *
FROM {{ source('looker_ecommerce', 'events') }}

SELECT *
FROM {{ source('looker_ecommerce', 'inventory_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'order_items') }}

SELECT *
FROM {{ source('looker_ecommerce', 'orders') }}

SELECT *
FROM {{ source('looker_ecommerce', 'products') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      # Fill in for the dbt source for products
      - name: products

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  # Fill in for the staging model for products
  - name: stg_looker__products
    description: Product information such as SKU and category


dbt source ve staging modelleriyle daha fazla pratik

version: 2

models:
  - name: stg_looker__distribution_centers
    description: Distribution center name and location    

  - name: stg_looker__users
    description: Users demographics and location information
    
  - name: stg_looker__events
    description: User event data

  - name: stg_looker__inventory_items
    description: Inventory items information

  - name: stg_looker__order_items
    description: Order information on the item level

  - name: stg_looker__orders
    description: Order information such as status and timestamps
    
  - name: stg_looker__products
    description: Product information such as SKU and category


SELECT *
FROM {{ source('looker__distribution_centers') }}

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: stg_looker__products

version: 2

sources:
  - name: looker_ecommerce
    tables:
      - name: users
      - name: events
      - name: inventory_items
      - name: order_items
      - name: orders
      - name: products

Yaygın hataları ayıkla

dbt kurulumu

dbt veri modellemesinin ayrıntılarına derinlemesine dal. Ön hazırlık aşama modellerinden kritik iş ihtiyaçlarını yanıtlayan nihai veri martı modellerine uzanan bir veri boru hattı oluştur. Bu süreçte, veri kalitesindeki sapmalara karşı emniyet sağlayan veri testleri yazma deneyimi de kazan.

dbt açıklamaları ve testleri oluşturma

dbt sütun açıklamaları ekle

dbt sütun testleri ekle

dbt veri martları ve snapshot modelleri oluşturma

dbt model hiyerarşisine hızlı bir bakış

Müşteriler için mart modeli oluştur

Ürünler için mart modeli oluştur

Yaygın hataları ayıklama

Daha fazla hatayı ayıklama

dbt snapshot modelleri oluşturma

dbt modelleri oluşturma

Kodunu sadeleştirerek, tekrarları azaltarak ve sürdürülebilirliği artırarak Jinja ile dbt projelerini nasıl güçlendireceğini öğren. Daha verimli dönüşüm iş akışları kurmak için değişkenler, döngüler ve makroları kullanma pratiği yapacaksın.

dbt ile Jinja'ya Giriş

dbt compile ile ısınma

dbt compile ile ısınma 2

Hata ayıklamak için dbt compile kullanma

dbt Jinja ile değişken ayarlama

dbt Jinja 2 ile değişken ayarlama

dbt ile jinja'nın karmaşık kullanımı

Tekrarlayan SQL üzerinde Jinja for döngüleri kullanma 1

Tekrarlanan SQL üzerinde Jinja for döngülerini kullanma 2

Jinja ile Makrolar

Jinja ile boşlukları kırpma

Özet: dbt vaka çalışması

Jinja ile dbt'yi geliştirme

Uygulamalı dbt (Data Build Tool) Vaka Çalışması Kursumuzla veri dönüşümünün gücünü açığa çıkar. Erken aşama dbt kullanıcıları için tasarlanan bu kurs, temel dbt komutlarını kavraman için birden fazla fırsat sunan pratik ve gerçek dünyadan egzersizlere odaklanır. Uygulamalı alıştırmalarla, dbt ortamını kurmaktan kritik iş problemlerini çözen ileri seviye modeller oluşturmaya kadar sürecin her adımında özgüven kazanacaksın. Etkileşimli egzersizler boyunca çalışarak, gerçek hayattaki veri ETL boru hattı projelerinin üstesinden güvenle gelmek için ihtiyaç duyduğun deneyimi edineceksin.

Ham verileri, dünya çapındaki veri ekipleri tarafından kullanılan modern, SQL tabanlı bir dönüşüm çerçevesi olan dbt (Data Build Tool) ile temiz ve güvenilir modellere dönüştürün. Bu uygulamalı vaka çalışması kursu, rehberli ve pratik egzersizler aracılığıyla gerçek dünyada kullanılabilecek beceriler geliştirmek isteyen başlangıç seviyesindeki öğrenenler için tasarlanmıştır. Kendi dbt ortamınızı kuracak, verileri ölçekli olarak modelleyecek ve dbt’nin yerleşik özelliklerini kullanarak yeniden kullanılabilir kod yazacaksınız.<br><br><h2>Projenizi Kurun ve Verileri Keşfedin</h2>Bir dbt projesi kurarak ve gerçek bir E-Ticaret veri setiyle çalışarak başlayın. Ham verileri yapılandıracak, profilleri yapılandıracak ve sözdizimi sorunlarını ayıklarken her dönüşüm adımının arkasındaki iş bağlamına dair içgörü kazanacaksınız.<br><br><h2>Modelleri Oluşturun ve Doğrulayın</h2>Veri kümelerinizin doğru ve analiz için hazır olmasını sağlamak için ölçeklenebilir staging modelleri oluşturmayı ve veri kalitesi kontrolleri uygulamayı öğrenin. İş dünyasının temel sorularını yanıtlamak için sağlam bir temel oluşturacaksınız.<br><br><h2>Jinja ile Otomasyon</h2>Jinja kullanarak yeniden kullanılabilir, sürdürülebilir kod yazmayı öğrenerek kursu tamamlayın. Değişkenleri, kontrol akışını ve döngüleri kullanarak DRY (Don't Repeat Yourself) ilkesini takip edecek ve dbt iş akışınızı daha verimli hale getireceksiniz.

Data Manipulation in SQL

Intermediate dbt

dbt ile ham verileri temiz, güvenilir modellere dönüştürmeyi uygulamalı alıştırmalarla öğrenin.

Vaka Çalışması: dbt ile E-Ticaret Veri Modelleri Oluşturma

Ham veriyi dbt ile temiz, güvenilir modellere dönüştürmeyi uygulamalı, gerçek dünya egzersizleriyle öğrenin. 

dbt kurulumunu kontrol et

Vaka Çalışması: dbt ile E-Ticaret Veri Modelleri Oluşturma

Uygulamalı etkileşimli egzersiz