Build a strong data warehousing foundation with the Databricks Data Intelligence Platform! You will learn how Databricks and the lakehouse architecture set your organization up for a modern SQL and BI stack. You will also explore the key components of the Databricks SQL product, ranging from data storage techniques to compute optimizations.

SQL in the Data Intelligence Platform

Benefits of the lakehouse for SQL

Exploring Databricks SQL

Exploring some data

Partner Connect

Databricks SQL key assets

Classifying Databricks SQL assets

Create a query

Build a visualization

Data Warehousing in Databricks

Build a strong data foundation for the lakehouse architecture! You will learn how to ingest, transform, and model your data using the capabilities in Databricks SQL. You will explore GUI-based and programmatic approaches to building out the medallion architecture, and creating a data ecosystem ready for any analytics workload.

Ingerindo dados

Options

True

False

Ingestão de dados via GUI

Hidratando o lakehouse

Fazer upload de dados manualmente

Usando COPY INTO

Aproveitando o Auto Loader

Transformando dados

Arquitetura de medalhões

SQL e a arquitetura de medalhões

Criando uma camada de dados de cafés

Limpando tabelas brutas

Criando a camada Silver

Criando uma tabela de sinistros com prêmio alto

Data engineering with Databricks SQL

Create powerful data insights using Databricks SQL! You will learn how to write queries, create visualizations, and power dashboards using in-platform Databricks capabilities. You will practice leveraging SQL code, filters, and parameters to create a robust analytical application for your end users.

Querying in the Data Intelligence Platform

Analytical assets in Databricks SQL

Querying our coffee dataset

Analyzing insurance claims

Supplementing queries with functions

Visualizing query results

Creating an analytics application

The role of Partner Connect

A coffee data dashboard

Adding filters to dashboards

Using parameters in queries

Create an executive dashboard

Data analysis with Databricks SQL

In the final chapter, you will learn some more advanced techniques that leverage the key differentiators of the Databricks platform. You will learn how to handle high-velocity and fast-changing data using window functions, and will be able to merge datasets as they come in.

Common data engineering patterns

Append vs. CDC

Updating coffee sales data

Optimizing data  with SQL

Using INSERT

Using MERGE

Advanced data analysis patterns

Understanding window functions and sub-queries

Analyzing coffee sales by store

Writing a sub-query

Using a  window function

Using windows and sub-queries together

Course recap

Advanced patterns with Databricks SQL

Toda organização precisa de uma solução de data warehousing para executar análises essenciais de business intelligence. Ao longo dos anos, surgiram várias ferramentas para atender a essas necessidades, mas muitas eram pilhas de tecnologia separadas que tinham dificuldade para acompanhar as demandas e a escala dos dados modernos.

O Databricks é uma poderosa Data Intelligence Platform que atende a muitas das necessidades analíticas de uma organização. Ao aproveitar o Databricks SQL, é possível utilizar um data warehouse altamente escalável e com ótimo desempenho diretamente na arquitetura de lakehouse.

Neste curso, você será apresentado aos principais componentes e fluxos de trabalho do Databricks SQL.

Primeiro, você vai aprender a usar o Databricks SQL para executar diferentes tarefas de engenharia de dados e mover seus dados pela arquitetura de medalhão para atender às equipes de dados. Você vai aprender as técnicas mais comuns usadas por muitos engenheiros de dados, como escolher entre diferentes técnicas de armazenamento e como manter seus dados atualizados.

Em seguida, você aprenderá a analisar seus dados no Databricks SQL, como muitos analistas de dados fazem no mercado. Você verá as funções e técnicas mais comuns usando SQL baseado em ANSI e, depois, criará visualizações e painéis dentro da plataforma para contar melhor a história dos seus dados.

Por fim, você aprenderá técnicas mais avançadas que aproveitam os principais diferenciais da plataforma Databricks. Você verá como lidar com dados de alta velocidade e em rápida mudança usando funções de janela e como mesclar conjuntos de dados à medida que eles chegam.

Toda organização precisa de um sistema de warehouse de dados para fazer análises importantes de inteligência de negócios. Ao longo dos anos, surgiram várias ferramentas diferentes para atender a essas necessidades, mas muitas vezes eram pilhas de tecnologia separadas que tinham dificuldade para acompanhar as necessidades e a escala dos dados modernos.

A Databricks é uma plataforma de inteligência de dados super eficiente que dá conta de várias necessidades analíticas de uma organização. Ao usar o Databricks SQL, uma organização pode usar uma solução de warehouse super escalável e com ótimo desempenho direto na arquitetura lakehouse.

Neste curso, você vai conhecer os principais componentes e fluxos de trabalho do Databricks SQL.

Primeiro, você vai aprender a usar o Databricks SQL para fazer várias tarefas de engenharia de dados e mover seus dados pela arquitetura medallion para ajudar as equipes de dados. Você vai aprender as técnicas comuns que muitos engenheiros de dados usam, como escolher entre diferentes técnicas de armazenamento de dados e como manter seus dados atualizados.

Depois, você vai aprender a analisar seus dados no Databricks SQL, como muitos analistas de dados fazem no setor. Você vai aprender as funções e técnicas comuns usando SQL baseado em ANSI e, em seguida, vai criar visualizações e painéis na plataforma para contar melhor a história dos seus dados.

Por fim, você vai aprender algumas técnicas mais avançadas que aproveitam os principais diferenciais da plataforma Databricks. Você vai aprender a lidar com dados que mudam rápido usando funções de janela e vai conseguir juntar conjuntos de dados conforme eles forem chegando.

Intermediate SQL

Introduction to Databricks

Aprenda Databricks SQL para engenharia de dados, análises e fluxos de dados em tempo real no lakehouse.

Introduction to Databricks SQL

Aprenda Databricks SQL para engenharia de dados, análise e fluxos de trabalho de dados em tempo real na arquitetura lakehouse.

Associate Data Engineer in Databricks

Analista de Dados no Databricks

LakeFlow Connect pode ingerir dados de bancos de dados, arquivos e aplicativos SaaS

LakeFlow Connect é composto por conectores gerenciados e pré‑construídos

Ao fazer upload de dados por uma ferramenta baseada em GUI no Databricks, você cria uma tabela no Unity Catalog

Você pode usar o recurso de upload manual com bancos de dados, além de arquivos

Ambas as técnicas de ingestão de dados especificadas exigem alguma programação

LakeFlow Connect não mantém seus dados atualizados e deve ser reconfigurado a cada vez

Ingestão de dados via GUI

Introduction to Databricks SQL

exercicio interativo prático