Saiba mais sobre as razões por trás da existência do dbt e como ele é usado para criar projetos de transformação de dados.

Fundamentos da dbt

Executando o comando dbt

Apresentando o dbt

Versão do dbt

Obtendo ajuda

Usuários do dbt

Criando um projeto dbt

Inicialização de um projeto dbt

Criar um perfil de projeto

Bem-vindo ao dbt

Você conhecerá a verdadeira essência do dbt trabalhando com modelos de dados e criando modelos baseados em SQL dentro do dbt. Aprenda sobre os modelos básicos do SQL, defina dependências, atualize e solucione vários problemas de modelos. 

Trabalhando com um primeiro projeto

Etapas de um fluxo de trabalho de dbt

fluxo de trabalho do projeto dbt

nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view
    


with source_data as (
    -- Add the query as described to generate the data model
    ____
)

select * from source_data


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from taxi_rides_raw limit 10'))
print(con.sql('select count(*) as total_rides from taxi_rides_raw'))
if (con.execute('select count(*) as total_rides from taxi_rides_raw').fetchall()[0][0] == 300000):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('300000')


Run the following commands in the terminal:
dbt run
./datacheck



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


with source_data as (
    -- Add the query as described to generate the data model
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


Run the following commands in the terminal:
dbt run
./datacheck   


Executar um projeto

O que é um modelo dbt?

Opções

Verdadeiro de um modelo de dados

Falso de um modelo de dados

Recursos de um modelo de dados


# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'nyc_yellow_taxi'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
#models:
#  nyc_yellow_taxi:
#  # Config indicated by + and applies to all files under models/example/
#    taxi_rides:
#    +materialized: view
    


Run the following command in the terminal:

dbt run


select * from 'yellow_tripdata_2023-01-partial.parquet'


Run the following command in the terminal:

cd nyc_yellow_taxi
dbt run

Criação de um modelo dbt

Atualização de modelos dbt

Projeto

Somente o modelo

Arquivos de configuração


-- Update with SQL to return requested information
select 
  date_part('day', tpep_pickup_datetime) as day,
  ____ as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = ____
group by day


#!/usr/bin/env python3
import duckdb
con = duckdb.connect('dbt.duckdb', read_only=True)
print(con.sql('select * from total_creditcard_riders_by_day'))
if (con.execute('select * as total_rides from total_creditcard_riders_by_day').fetchall()[0][1] == 54743):
  with open('/home/repl/workspace/successful_data_check', 'w') as f:
    f.write('54743')
    



-- Update with SQL to return requested information
select 
   date_part('day', tpep_pickup_datetime) as day,
   count(*) as total_cc_riders
from taxi_rides_raw
-- Refer to the Payment_type in schema doc
where payment_type = 1
group by day


Atualização de um modelo dbt

projetos e modelos de dbt

Saiba como usar os modelos Jinja para simplificar os modelos dbt e definir dependências hierárquicas com a função `ref` para garantir a execução correta do modelo.

Criação e geração de documentação de dbt

dbt docs Opções de comando

fluxo de documentação do dbt

Criação de documentação dbt

Modelos Jinja

O que a Jinja pode fazer?

Processar um modelo Jinja

Modelos hierárquicos em dbt

Criação de modelos hierárquicos

Atualização de hierarquias de modelos

Mais sobre modelos dbt

Este curso apresenta a você a dbt (ferramenta de construção de dados), uma ferramenta popular que deu origem à engenharia analítica para a criação e manutenção de pipelines de extração, transformação e carregamento (ELT). Você aprenderá a criar data warehouses, realizar modelagem e transformações de dados e projetar testes para realizar a validação de dados. Você usará o site SQL e os comandos do shell para executar uma variedade de tarefas com o dbt, além de descobrir como gerar documentação para os usuários do warehouse!

A dbt, ou ferramenta de criação de dados, conquistou o mundo dos dados. Este curso apresenta a você os conceitos, a terminologia e os métodos de uso da dbt para implementar um exemplo de data warehouse. Você entenderá o que é dbt, quando ela deve ser usada e as práticas recomendadas ao implementar o data warehouse. Você trabalhará com conjuntos de dados reais e realizará operações de extração, carregamento e transformação, conforme implementadas nas funções de analista de dados, engenharia de dados e engenharia analítica.

Os alunos desenvolverão as habilidades para definir um data warehouse do zero, modelar e transformar dados e criar testes! Este curso fornecerá a você uma base sólida para a sua jornada de dbt, independentemente do tipo de data warehouse que você pretende implementar. Você ganhará confiança sobre como e quando usar a dbt ao fazer exercícios usando comandos de SQL e shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Este curso apresenta dbt para modelagem de dados, transformações, testes e criação de documentação.

Introdução ao dbt

Este curso apresenta o dbt para modelagem de dados, transformações, testes e criação de documentação.

dbt Fundamentos

Engenheiro de dados profissional Em Python

Criar destinos de dados no arquivo `profiles.yml`  

fluxo de trabalho do projeto dbt

Introdução ao dbt

Exercício interativo prático