Neste capítulo, você terá uma introdução aos conceitos básicos de processamento de dados em lote (batch), com foco em implementação, escalabilidade e desafios potenciais durante o uso.

Introdução ao processamento em lote

Características de lote

Ordenação de lotes

Escalando o processamento em lote

Na escala

Opostos horizontalmente

Problemas em processamento em lote

Problemas de processamento em lote

Cenários de processamento em lote

Métodos para Processamento de Dados

Aqui, você vai aprender o básico de streaming, processamento de dados baseado em eventos e as vantagens em relação ao processamento tradicional baseado em lotes.

Introdução à computação baseada em eventos

Afirmações

Verdadeiro

Falso

Em caso de...

Actions

Event

Not an event

Bem-vindo ao evento!

Enfileiramento

Características

Descreve uma fila

Não descreve uma fila

Características de filas

Cenário

Use uma fila

Não use uma fila

Usar fila ou não usar fila

Transmissão de dados em um único sistema

Log de eventos em fluxo único

Ordem do fluxo de logs

Projects

Logging

Something else

Opções de log

Lotes vs. streaming

Cenários

Lote

Fila

Stream

Lote, fila ou stream?

Processo de logs em streaming

Processador de logs em streaming

Introdução a Streaming

Este capítulo apresenta os conceitos por trás dos sistemas modernos de streaming, como escalá-los e alguns dos problemas encontrados ao usar processos de streaming.

Introdução ao streaming em tempo real

Tempo real?

Desta vez é em tempo real?

Escalando sistemas de streaming verticalmente

Motivos para escalar

Para escalar verticalmente...?

Escalando sistemas de streaming horizontalmente

Escalonando para fora

Garantias de SLA

Obstáculos no streaming

Atributos de streaming

Tipos de problemas

Desafios de streaming

Sistemas de Streaming

No capítulo final, você vai conhecer sistemas de streaming comuns e considerar a implementação de processamento de dados em streaming em diferentes casos de uso.

Sistemas de streaming populares

Verdades sobre streaming

Unindo os fluxos...

Caso de uso real: serviço de streaming de música

Componentes de mensagens

Responda isto...

Caso de uso real: dados de sensores

Ótima ordem dos SLAs

Considerações de escalonamento de sensores

Caso de uso do mundo real: clínica de vacinação

Clínica de vacinação - classificar áreas

Um novo problema...

Parabéns!

Casos de Uso do Mundo Real

Streaming é uma grande tendência no mundo dos dados hoje e está sendo usado por praticamente todos os setores, de manufatura a saúde. Você quer aprender mais sobre os conceitos gerais por trás de pipelines de dados e como esses processos funcionam?

Este curso apresenta uma introdução geral aos conceitos de streaming, incluindo batching, enfileiramento (queuing) e processamento de streams, além de mostrar onde eles se encaixam nos frameworks de processamento de dados. Ele traz exemplos reais de como o streaming é implementado em produção. Foi projetado como uma introdução geral a esses conceitos e não exige um conhecimento extenso em processamento de dados.


Understanding Data Engineering

Descubra a diferença entre batching e streaming, escalonamento de sistemas de streaming e aplicações reais.

Conceitos de Streaming

Aprenda as diferenças entre processamento em lote e streaming, como escalar sistemas de streaming e seus usos reais.

Engenheiro de dados profissional Em Python

Processos baseados em eventos aguardam algo acontecer.

Programas baseados em eventos podem conter componentes em lote.

Processos baseados em eventos sempre executam em um horário ou data específicos.

Processos baseados em eventos aguardam até que todos os dados estejam presentes.

Em caso de...

Conceitos de Streaming

Exercício interativo prático