Neste capítulo, você terá uma introdução aos conceitos básicos de processamento de dados em lote (batch), com foco em implementação, escalabilidade e desafios potenciais durante o uso.

Introdução ao processamento em lote

Características de lote

Ordenação de lotes

Escalando o processamento em lote

Na escala

Opostos horizontalmente

Problemas em processamento em lote

Problemas de processamento em lote

Cenários de processamento em lote

Métodos para Processamento de Dados

Aqui, você vai aprender o básico de streaming, processamento de dados baseado em eventos e as vantagens em relação ao processamento tradicional baseado em lotes.

Introdução à computação baseada em eventos

Em caso de...

Bem-vindo ao evento!

Enfileiramento

Características de filas

Usar fila ou não usar fila

Transmissão de dados em um único sistema

Ordem do fluxo de logs

Opções de log

Lotes vs. streaming

Lote, fila ou stream?

Processador de logs em streaming

Introdução a Streaming

Este capítulo apresenta os conceitos por trás dos sistemas modernos de streaming, como escalá-los e alguns dos problemas encontrados ao usar processos de streaming.

Introdução ao streaming em tempo real

Características

Tempo real

Não em tempo real

Tempo real?

Requisitos

Desta vez é em tempo real?

Escalando sistemas de streaming verticalmente

Motivos para escalar

Opções

Melhoraria

Não melhoraria

Para escalar verticalmente...?

Escalando sistemas de streaming horizontalmente

Vertical

Horizontal

Escalonando para fora

Ajudaria a cumprir o SLA

Não ajudaria a cumprir o SLA

Garantias de SLA

Obstáculos no streaming

Atributos

True

False

Atributos de streaming

Sequências

Ausência

Fora de ordem

Atraso

Tipos de problemas

Problemas de streaming

Problemas de batching

Desafios de streaming

Sistemas de Streaming

No capítulo final, você vai conhecer sistemas de streaming comuns e considerar a implementação de processamento de dados em streaming em diferentes casos de uso.

Sistemas de streaming populares

Verdades sobre streaming

Unindo os fluxos...

Caso de uso real: serviço de streaming de música

Componentes de mensagens

Responda isto...

Caso de uso real: dados de sensores

Ótima ordem dos SLAs

Considerações de escalonamento de sensores

Caso de uso do mundo real: clínica de vacinação

Clínica de vacinação - classificar áreas

Um novo problema...

Parabéns!

Casos de Uso do Mundo Real

Streaming é uma grande tendência no mundo dos dados hoje e está sendo usado por praticamente todos os setores, de manufatura a saúde. Você quer aprender mais sobre os conceitos gerais por trás de pipelines de dados e como esses processos funcionam?

Este curso apresenta uma introdução geral aos conceitos de streaming, incluindo batching, enfileiramento (queuing) e processamento de streams, além de mostrar onde eles se encaixam nos frameworks de processamento de dados. Ele traz exemplos reais de como o streaming é implementado em produção. Foi projetado como uma introdução geral a esses conceitos e não exige um conhecimento extenso em processamento de dados.


Understanding Data Engineering

Descubra a diferença entre batching e streaming, escalonamento de sistemas de streaming e aplicações reais.

Conceitos de Streaming

Aprenda as diferenças entre processamento em lote e streaming, como escalar sistemas de streaming e seus usos reais.

Engenheiro de dados profissional Em Python

Pedidos no site do usuário devem ser aceitos em até 10 segundos; caso contrário, exibir um erro.

O sistema de ABS do veículo deve atualizar continuamente em até 30 ms.

Logs de segurança do sistema devem ser gravados em armazenamento permanente em até 15 s após o recebimento.

Os dados do cliente devem ser convertidos para vários tamanhos de imagem pelo menor custo possível.

Arquivos devem ser replicados entre vários sistemas, com base na disponibilidade.

Desta vez é em tempo real?

Conceitos de Streaming

Exercício interativo prático