In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Introdução ao streaming em tempo real

Características

Tempo real

Não em tempo real

Tempo real?

Requisitos

Desta vez é em tempo real?

Escalando sistemas de streaming verticalmente

Motivos para escalar

Opções

Melhoraria

Não melhoraria

Para escalar verticalmente...?

Escalando sistemas de streaming horizontalmente

Vertical

Horizontal

Escalonando para fora

Ajudaria a cumprir o SLA

Não ajudaria a cumprir o SLA

Garantias de SLA

Obstáculos no streaming

Atributos

True

False

Atributos de streaming

Sequências

Ausência

Fora de ordem

Atraso

Tipos de problemas

Problemas de streaming

Problemas de batching

Desafios de streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming é uma grande tendência no mundo dos dados hoje e está sendo usado por praticamente todos os setores, de manufatura a saúde. Você quer aprender mais sobre os conceitos gerais por trás de pipelines de dados e como esses processos funcionam?

Este curso apresenta uma introdução geral aos conceitos de streaming, incluindo batching, enfileiramento (queuing) e processamento de streams, além de mostrar onde eles se encaixam nos frameworks de processamento de dados. Ele traz exemplos reais de como o streaming é implementado em produção. Foi projetado como uma introdução geral a esses conceitos e não exige um conhecimento extenso em processamento de dados.


Understanding Data Engineering

Descubra a diferença entre batching e streaming, escalonamento de sistemas de streaming e aplicações reais.

Conceitos de Streaming

Aprenda as diferenças entre processamento em lote e streaming, como escalar sistemas de streaming e seus usos reais.

Engenheiro de dados profissional Em Python

Um cliente precisa reduzir o tempo necessário para processar um item específico. Você substitui a CPU por uma mais rápida.

Um cliente precisa processar mais eventos simultaneamente. Você dobra o número de sistemas em uso.

Um colega precisa reduzir o tempo de processamento de um único evento. Você adiciona 3 sistemas ao cluster.

Um cliente gostaria de melhorar um processo limitado por CPU. Este sistema já tem a CPU mais rápida disponível. Você adiciona um SSD.

Garantias de SLA

Conceitos de Streaming

exercicio interativo prático