Neste capítulo, você terá uma introdução aos conceitos básicos de processamento de dados em lote (batch), com foco em implementação, escalabilidade e desafios potenciais durante o uso.

Introdução ao processamento em lote

Características de lote

Ordenação de lotes

Escalando o processamento em lote

Na escala

Opostos horizontalmente

Problemas em processamento em lote

Problemas de processamento em lote

Cenários de processamento em lote

Métodos para Processamento de Dados

Aqui, você vai aprender o básico de streaming, processamento de dados baseado em eventos e as vantagens em relação ao processamento tradicional baseado em lotes.

Introdução à computação baseada em eventos

Em caso de...

Bem-vindo ao evento!

Enfileiramento

Características de filas

Usar fila ou não usar fila

Transmissão de dados em um único sistema

Ordem do fluxo de logs

Opções de log

Lotes vs. streaming

Lote, fila ou stream?

Processador de logs em streaming

Introdução a Streaming

Este capítulo apresenta os conceitos por trás dos sistemas modernos de streaming, como escalá-los e alguns dos problemas encontrados ao usar processos de streaming.

Introdução ao streaming em tempo real

Tempo real?

Desta vez é em tempo real?

Escalando sistemas de streaming verticalmente

Motivos para escalar

Para escalar verticalmente...?

Escalando sistemas de streaming horizontalmente

Escalonando para fora

Garantias de SLA

Obstáculos no streaming

Atributos de streaming

Tipos de problemas

Desafios de streaming

Sistemas de Streaming

No capítulo final, você vai conhecer sistemas de streaming comuns e considerar a implementação de processamento de dados em streaming em diferentes casos de uso.

Sistemas de streaming populares

Options

Statements

True

False

Verdades sobre streaming

Requisitos

Celery

Kafka

Spark streaming

Unindo os fluxos...

Caso de uso real: serviço de streaming de música

Atributos

Obrigatório

Não obrigatório

Componentes de mensagens

Perguntas

Pode responder

Não pode responder

Responda isto...

Caso de uso real: dados de sensores

Prioridade de SLA

Ótima ordem dos SLAs

Projetos

Vertical

Horizontal

Considerações de escalonamento de sensores

Caso de uso do mundo real: clínica de vacinação

Áreas

Processo em lote

Processo com fila

Processo de streaming

Clínica de vacinação - classificar áreas

Batch

Queue

Stream

Um novo problema...

Parabéns!

Casos de Uso do Mundo Real

Streaming é uma grande tendência no mundo dos dados hoje e está sendo usado por praticamente todos os setores, de manufatura a saúde. Você quer aprender mais sobre os conceitos gerais por trás de pipelines de dados e como esses processos funcionam?

Este curso apresenta uma introdução geral aos conceitos de streaming, incluindo batching, enfileiramento (queuing) e processamento de streams, além de mostrar onde eles se encaixam nos frameworks de processamento de dados. Ele traz exemplos reais de como o streaming é implementado em produção. Foi projetado como uma introdução geral a esses conceitos e não exige um conhecimento extenso em processamento de dados.


Understanding Data Engineering

Descubra a diferença entre batching e streaming, escalonamento de sistemas de streaming e aplicações reais.

Conceitos de Streaming

Aprenda as diferenças entre processamento em lote e streaming, como escalar sistemas de streaming e seus usos reais.

Engenheiro de dados profissional Em Python

Um conjunto de sensores de temperatura para um único data center, em que os dados devem ser processados mais rapidamente.

Um grupo de sensores de tráfego, dobrando em quantidade, mas que deve processar os dados dentro do mesmo SLA. Por motivos de orçamento, apenas um único servidor pode ser usado.

Um conjunto mundial de campainhas conectadas, que devem ser balanceadas com base na localização.

Sensores de consumo de energia por toda uma grande área metropolitana, com no máximo 10 sensores por servidor central.

Considerações de escalonamento de sensores

Conceitos de Streaming

Exercício interativo prático