Este capítulo explora o gerenciamento de tabelas no Databricks, com foco em tabelas gerenciadas versus não gerenciadas e como elas lidam com armazenamento e ciclo de vida. Você vai aprender a criar e atualizar views persistentes e se aprofundar nos recursos do Delta Lake, como transações ACID, enforcement de esquema e time travel para um gerenciamento de dados confiável. Você também terá uma visão mais detalhada da mecânica de organização e acesso aos dados dentro do Databricks.

Entendendo o Delta Lake

Confiabilidade dos dados no Delta Lake

Garantindo propriedades ACID

Gerenciando dados no Delta Lake

Otimização de tabelas

Persistência e escopo de tabelas

Tabelas Gerenciadas vs. Não Gerenciadas

Duelo de tabelas

Excluindo tabelas

Criando tabelas não gerenciadas

Introdução ao Delta Lake

Este capítulo aprofunda a criação e o gerenciamento de views e temp views no Databricks. Você vai explorar como as views persistentes salvam a lógica de consultas para reutilização entre sessões, enquanto as temp views são ideais para tarefas rápidas e específicas da sessão. A discussão também destaca cenários práticos em que cada tipo pode aumentar a eficiência e simplificar o tratamento de dados.

Criando e gerenciando tabelas

Armazenamento personalizado do jeito certo

Armazenamento de tabelas

Movendo tabelas

Options

Data Management

Data Movement

Gestão ou movimentação?

Boas práticas para gerenciar tabelas grandes

Limpando dados com VACUUM

Views e Temp views

View

Temp View

Persistente ou temporário?

Explorando views

Persista como um profissional

Views de curta duração

A mágica das views persistentes

Trabalhando com Tabelas no Databricks

No capítulo final, você vai explorar como usar o Data Explorer para pré-visualizar, analisar e proteger conjuntos de dados. O conteúdo aborda propriedade de tabelas, responsabilidades e melhores práticas de governança. Também aprofunda a gestão de direitos de acesso e o tratamento seguro de Personally Identifiable Information (PII) com estratégias voltadas à conformidade e exercícios práticos.

Exploração de dados com o Data Explorer

O caminho no Data Explorer

Explorando conjuntos de dados

Logs e segurança

Gerenciando acesso e entendendo PII

Protegendo PII

Protegendo nomes de pacientes

Gerenciando permissões

Parabéns!

Exploração de Dados e Segurança

Pronto para avançar suas habilidades em Databricks? Neste curso, você vai dominar técnicas de Gerenciamento de Dados no Databricks, utilizando recursos do Delta Lake como transações ACID, enforcement de esquema e time travel para um gerenciamento de dados à prova de falhas. Explore a criação e o gerenciamento de tabelas e temp views para otimizar seus fluxos de trabalho. Depois, conheça o Data Explorer do Databricks para pré-visualizar conjuntos de dados, atribuir propriedade de tabelas e proteger dados sensíveis com práticas de segurança de alto nível. Seja criando consultas reutilizáveis ou gerenciando Personally Identifiable Information (PII), este curso oferece exercícios práticos e estratégias para manter seus dados seguros, acessíveis e otimizados para qualquer cenário.

<h2>Crie uma base sólida com o Delta Lake</h2>
Este curso te dá as habilidades necessárias para gerenciar dados de forma eficaz no Databricks, usando ferramentas como Delta Lake e o Data Explorer do Databricks. Você vai explorar conceitos básicos, como tabelas gerenciadas e não gerenciadas, e como elas lidam com armazenamento e ciclo de vida, enquanto mergulha em recursos avançados do Delta Lake, como transações ACID, aplicação de esquema e viagem no tempo. Essas técnicas garantem a consistência e a confiabilidade dos dados, criando uma base sólida para fluxos de trabalho robustos.
<h2>Otimize fluxos de trabalho com visualizações e visualizações temporárias</h2>
Você também vai aprender a criar e gerenciar visualizações e visualizações temporárias para otimizar os processos de dados. As visualizações persistentes permitem que você salve a lógica da consulta para usar várias vezes nas sessões, simplificando os fluxos de trabalho e aumentando a eficiência. Já as visualizações temporárias são uma solução leve pra tarefas rápidas e específicas de uma sessão. Exemplos práticos mostram como cada um deles pode ser usado para melhorar a acessibilidade e a organização dos dados, tornando-os ferramentas super úteis para criar soluções eficientes e flexíveis.
<h2>Proteja e gerencie seus dados com confiança</h2>
Por fim, você vai usar o Data Explorer do Databricks para visualizar, analisar e proteger conjuntos de dados. Desde atribuir a propriedade da tabela até gerenciar direitos de acesso, você vai entender bem as melhores práticas de governança. Dá-se uma atenção especial ao tratamento seguro das Informações Pessoais Identificáveis (PII) com estratégias focadas na conformidade. Com exercícios práticos, você vai aprender a manter conjuntos de dados seguros e otimizados, garantindo que seus dados continuem acessíveis, bem gerenciados e protegidos em qualquer situação.

Introduction to Databricks

Gerenciamento de dados mestre no Databricks com Delta Lake: transações ACID, esquemas e segurança.

Gerenciamento de Dados no Databricks

Aprenda a gerenciar dados no Databricks com o Delta Lake, incluindo transações ACID, aplicação de esquema e segurança.

Analista de Dados no Databricks

Otimizar a tabela usando o comando `OPTIMIZE` para compactar dados e melhorar o desempenho das consultas.

Limpar versões antigas usando o comando `VACUUM` para liberar espaço de armazenamento.

Fazer backup dos dados usando o comando `COPY INTO` para transferi-los para um local de armazenamento seguro.

Limpando dados com VACUUM

Gerenciamento de Dados no Databricks

Exercício interativo prático