Saiba mais sobre as razões por trás da existência do dbt e como ele é usado para criar projetos de transformação de dados.

Fundamentos da dbt

This is the code editor window. The terminal window is the panel below.

Run the following command in the terminal area:
  
dbt

Executando o comando dbt

Apresentando o dbt

Run the following command in the terminal area:
  
dbt --version

Versão do dbt

Obtendo ajuda

Opções

É provável que você use o dbt

É improvável que você use o dbt

Usuários do dbt

Criando um projeto dbt

Project Name: nyc_yellow_taxi
Database type: duckdb


Run the following commands in the terminal window:


dbt init


Note: You will need to specify the project name (nyc_yellow_taxi) and
select the database type ([1] duckdb)
  
Once complete run:
  
cd nyc_yellow_taxi

ls


Inicialização de um projeto dbt

# Modify the project name
____:
  outputs:
    dev:
      # Change the database type
      type: ____
      path: dbt.duckdb
  target: dev


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev
  



# Name your project! Project names should contain only lowercase characters
# and underscores. A good package name should reflect your organization's
# name or the intended use of these models
name: 'taxi_project'
version: '1.0.0'
config-version: 2

# This setting configures which "profile" dbt uses for this project.
profile: 'nyc_yellow_taxi'

# These configurations specify where dbt should look for different types of files.
# The `model-paths` config, for example, states that models in this project can be
# found in the "models/" directory. You probably won't need to change these!
model-paths: ["models"]
analysis-paths: ["analyses"]
test-paths: ["tests"]
seed-paths: ["seeds"]
macro-paths: ["macros"]
snapshot-paths: ["snapshots"]

target-path: "target"  # directory which will store compiled SQL files
clean-targets:         # directories to be removed by `dbt clean`
  - "target"
  - "dbt_packages"


# Configuring models
# Full documentation: https://docs.getdbt.com/docs/configuring-models

# In this example config, we tell dbt to build all models in the example/
# directory as views. These settings can be overridden in the individual model
# files using the `{{ config(...) }}` macro.
models:
  nyc_yellow_taxi:
  # Config indicated by + and applies to all files under models/example/
    taxi_rides:
    +materialized: view


{{ config(materialized='view')}}


with src_data as (
    select * from read_parquet('yellow_tripdata_2023-01-partial.parquet')
)

select * from source_data


nyc_yellow_taxi:
  outputs:
    dev:
      type: duckdb
      path: dbt.duckdb
  target: dev


Run the following command in the terminal after editing the profiles.yml file:
  
dbt debug


Criar um perfil de projeto

Bem-vindo ao dbt

Você conhecerá a verdadeira essência do dbt trabalhando com modelos de dados e criando modelos baseados em SQL dentro do dbt. Aprenda sobre os modelos básicos do SQL, defina dependências, atualize e solucione vários problemas de modelos. 

Trabalhando com um primeiro projeto

fluxo de trabalho do projeto dbt

Executar um projeto

O que é um modelo dbt?

Recursos de um modelo de dados

Criação de um modelo dbt

Atualização de modelos dbt

Arquivos de configuração

Atualização de um modelo dbt

projetos e modelos de dbt

Saiba como usar os modelos Jinja para simplificar os modelos dbt e definir dependências hierárquicas com a função `ref` para garantir a execução correta do modelo.

Criação e geração de documentação de dbt

dbt docs Opções de comando

fluxo de documentação do dbt

Criação de documentação dbt

Modelos Jinja

O que a Jinja pode fazer?

Processar um modelo Jinja

Modelos hierárquicos em dbt

Criação de modelos hierárquicos

Atualização de hierarquias de modelos

Mais sobre modelos dbt

Este curso apresenta a você a dbt (ferramenta de construção de dados), uma ferramenta popular que deu origem à engenharia analítica para a criação e manutenção de pipelines de extração, transformação e carregamento (ELT). Você aprenderá a criar data warehouses, realizar modelagem e transformações de dados e projetar testes para realizar a validação de dados. Você usará o site SQL e os comandos do shell para executar uma variedade de tarefas com o dbt, além de descobrir como gerar documentação para os usuários do warehouse!

A dbt, ou ferramenta de criação de dados, conquistou o mundo dos dados. Este curso apresenta a você os conceitos, a terminologia e os métodos de uso da dbt para implementar um exemplo de data warehouse. Você entenderá o que é dbt, quando ela deve ser usada e as práticas recomendadas ao implementar o data warehouse. Você trabalhará com conjuntos de dados reais e realizará operações de extração, carregamento e transformação, conforme implementadas nas funções de analista de dados, engenharia de dados e engenharia analítica.

Os alunos desenvolverão as habilidades para definir um data warehouse do zero, modelar e transformar dados e criar testes! Este curso fornecerá a você uma base sólida para a sua jornada de dbt, independentemente do tipo de data warehouse que você pretende implementar. Você ganhará confiança sobre como e quando usar a dbt ao fazer exercícios usando comandos de SQL e shell.

Data Warehousing Concepts

Introduction to Shell

Joining Data in SQL

Este curso apresenta dbt para modelagem de dados, transformações, testes e criação de documentação.

Introdução ao dbt

Este curso apresenta o dbt para modelagem de dados, transformações, testes e criação de documentação.

Obtendo ajuda

Introdução ao dbt

Instruções do exercício

Exercício interativo prático