In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Gerçek zamanlı akışa giriş

Özellikler

Gerçek zamanlı

Gerçek zamanlı olmayan

Gerçek zamanlı mı?

Gereksinimler

Bu kez gerçekten gerçek zamanlı mı?

Akış sistemlerini dikey olarak ölçeklendirme

Ölçeklendirme nedenleri

Seçenekler

Muhtemelen iyileştirir

İyileştirmez

Dikey ölçeklemek için...?

Yatay olarak ölçeklenen akış sistemleri

Dikey

Yatay

Yatayda büyütüldü

SLA’yı karşılamaya yardımcı olur

SLA’yı karşılamaya yardımcı olmaz

SLA güvenceleri

Akıştaki engeller

Doğru

Yanlış

Akışın özellikleri

Diziler

Eksik

Sıra dışı

Gecikmiş

Sorun türleri

Akışa özgü sorunlar

Toplu işleme özgü sorunlar

Akışla ilgili zorluklar

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Akış, günümüzde veri dünyasının çok büyük bir parçası ve üretimden sağlığa kadar neredeyse her sektörde kullanılıyor. Veri boru hatlarının arkasındaki genel kavramları ve süreçlerin nasıl çalıştığını daha fazla öğrenmek ister misin?

Bu kurs; kümeleme (batching), kuyruklama (queuing) ve akış işlemenin (stream processing) yanı sıra bunların veri işleme çerçevelerindeki yerini de içeren akış kavramlarına genel bir giriş sunar. Üretim ortamlarında akışın nasıl uygulandığına dair gerçek dünya örneklerini kapsar. Bu kavramlara genel bir giriş olarak tasarlanmıştır ve kapsamlı bir veri işleme geçmişi gerektirmez.


Understanding Data Engineering

Toplu işleme ve akış arasındaki farkı, akış sistemlerini ölçeklendirmeyi ve uygulamaları öğrenin.

Akış Kavramları

Toplu işleme ve akış arasındaki fark, akış sistemlerinin ölçeklendirilmesi ve gerçek dünya uygulamaları hakkında bilgi edinin.

Profesyonel Veri Mühendisi Python'da

Bir müşterinin belirli bir öğeyi işlemek için gereken süreyi azaltması gerekiyor. Daha hızlı bir CPU ile değiştiriyorsun.

Bir müşterinin aynı anda daha fazla olayı işlemesi gerekiyor. Kullanılan sistem sayısını iki katına çıkarıyorsun.

Bir iş arkadaşının tek bir olayın işlem süresini azaltması gerekiyor. Kümeye 3 sistem ekliyorsun.

Bir müşteri CPU’ya bağlı bir süreci iyileştirmek istiyor. Bu sistem zaten mevcut en hızlı CPU’ya sahip. Bir SSD ekliyorsun.

SLA güvenceleri

Akış Kavramları

Uygulamalı interaktif egzersiz