Saiba mais sobre as razões por trás da existência do dbt e como ele é usado para criar projetos de transformação de dados.

Fundamentos da dbt

Executando o comando dbt

Apresentando o dbt

Versão do dbt

Obtendo ajuda

Usuários do dbt

Criando um projeto dbt

Inicialização de um projeto dbt

Criar um perfil de projeto

Bem-vindo ao dbt

Você conhecerá a verdadeira essência do dbt trabalhando com modelos de dados e criando modelos baseados em SQL dentro do dbt. Aprenda sobre os modelos básicos do SQL, defina dependências, atualize e solucione vários problemas de modelos. 

Trabalhando com um primeiro projeto

fluxo de trabalho do projeto dbt

Executar um projeto

O que é um modelo dbt?

Recursos de um modelo de dados

Criação de um modelo dbt

Atualização de modelos dbt

Arquivos de configuração

Atualização de um modelo dbt

projetos e modelos de dbt

Saiba como usar os modelos Jinja para simplificar os modelos dbt e definir dependências hierárquicas com a função `ref` para garantir a execução correta do modelo.

Criação e geração de documentação de dbt

dbt docs Opções de comando

dbt Processo de documentação

fluxo de documentação do dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with source_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


version: 2

models:
  - name: taxi_rides_raw
    description: ____
    access: public


Run the following commands in the terminal:

dbt docs generate
dbt docs serve

version: 2

models:
  - name: taxi_rides_raw
    description: Initial import of the NYC Yellow Taxi trip data from Parquet source
    access: public


Criação de documentação dbt

Modelos Jinja

O que a Jinja pode fazer?


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    



select * from 'yellow_tripdata_2023-01-partial.parquet'



select
{% for column_name in ['fare_amount', 'tip_amount', 'tolls_amount', 'total_amount'] %}
  {{column_name}}{% if not loop.last %},{% endif %}
{% endfor %}
from taxi_rides_raw
   

Run the following commands in the terminal:
  
  dbt run
  

Processar um modelo Jinja

Modelos hierárquicos em dbt

Ordem de criação do modelo

Criação de modelos hierárquicos


-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from taxi_rides_raw
where payment_type = 1
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from creditcard_riders_by_day'))
if (con.execute('select * from creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    


Run the following commands in the terminal:
dbt run
dbt run -f



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view



-- Update SQL to use Jinja reference
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_riders
-- Update the line below to use a Jinja function
from {{ ref('taxi_rides_raw') }}
where payment_type = 1
group by day


Atualização de hierarquias de modelos

Mais sobre modelos dbt

Este curso apresenta a você a dbt (ferramenta de construção de dados), uma ferramenta popular que deu origem à engenharia analítica para a criação e manutenção de pipelines de extração, transformação e carregamento (ELT). Você aprenderá a criar data warehouses, realizar modelagem e transformações de dados e projetar testes para realizar a validação de dados. Você usará o site SQL e os comandos do shell para executar uma variedade de tarefas com o dbt, além de descobrir como gerar documentação para os usuários do warehouse!

A dbt, ou ferramenta de criação de dados, conquistou o mundo dos dados. Este curso apresenta a você os conceitos, a terminologia e os métodos de uso da dbt para implementar um exemplo de data warehouse. Você entenderá o que é dbt, quando ela deve ser usada e as práticas recomendadas ao implementar o data warehouse. Você trabalhará com conjuntos de dados reais e realizará operações de extração, carregamento e transformação, conforme implementadas nas funções de analista de dados, engenharia de dados e engenharia analítica.

Os alunos desenvolverão as habilidades para definir um data warehouse do zero, modelar e transformar dados e criar testes! Este curso fornecerá a você uma base sólida para a sua jornada de dbt, independentemente do tipo de data warehouse que você pretende implementar. Você ganhará confiança sobre como e quando usar a dbt ao fazer exercícios usando comandos de SQL e shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Este curso apresenta dbt para modelagem de dados, transformações, testes e criação de documentação.

Introdução ao dbt

Este curso apresenta o dbt para modelagem de dados, transformações, testes e criação de documentação.

dbt Fundamentos

Engenheiro de dados profissional Em Python

Adicionar documentação a modelos, testes, etc.

Use o site `dbt docs generate` para gerar os arquivos de documentação

Copiar conteúdo para o serviço de hospedagem

Acesse a documentação por meio do navegador da Web

fluxo de documentação do dbt

Introdução ao dbt

exercicio interativo prático