In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Introdução ao processamento em lote

Características

Processo em lote

Other

Características de lote

Ordenação de lotes

Escalando o processamento em lote

Atributos de escalonamento

Escalonamento vertical

Escalonamento horizontal

Na escala

Opostos horizontalmente

Problemas em processamento em lote

Problemas de processamento em lote

Cenários

Adequado para processamento em lote

Não adequado para processamento em lote

Cenários de processamento em lote

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming é uma grande tendência no mundo dos dados hoje e está sendo usado por praticamente todos os setores, de manufatura a saúde. Você quer aprender mais sobre os conceitos gerais por trás de pipelines de dados e como esses processos funcionam?

Este curso apresenta uma introdução geral aos conceitos de streaming, incluindo batching, enfileiramento (queuing) e processamento de streams, além de mostrar onde eles se encaixam nos frameworks de processamento de dados. Ele traz exemplos reais de como o streaming é implementado em produção. Foi projetado como uma introdução geral a esses conceitos e não exige um conhecimento extenso em processamento de dados.


Understanding Data Engineering

Descubra a diferença entre batching e streaming, escalonamento de sistemas de streaming e aplicações reais.

Conceitos de Streaming

Aprenda as diferenças entre processamento em lote e streaming, como escalar sistemas de streaming e seus usos reais.

Engenheiro de dados profissional Em Python

Problemas de processamento em lote

Conceitos de Streaming

exercicio interativo prático