In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Olay tabanlı hesaplamaya giriş

İfadeler

Doğru

Yanlış

Olay durumunda...

Eylemler

Etkinlik

Etkinlik değil

Etkinliğe hoş geldin!

Kuyruklama

Özellikler

Bir kuyruğu tanımlar

Bir kuyruğu tanımlamaz

Kuyruk özellikleri

Senaryo

Kuyruk kullan

Kuyruk kullanma

Kuyruk kullanmalı mısın, kullanmamalı mısın

Tek sistemde veri akışı

Tek akış olay günlüğü

Günlük akışı sırası

Projeler

Günlükleme

Başka bir şey

Günlükleme seçenekleri

Toplu işlemeye karşı akış (streaming)

Senaryolar

Batch

Queue

Stream

Batch, queue veya stream?

Akış Günlüğü Süreci

Günlük akışı işlemcisi

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Akış, günümüzde veri dünyasının çok büyük bir parçası ve üretimden sağlığa kadar neredeyse her sektörde kullanılıyor. Veri boru hatlarının arkasındaki genel kavramları ve süreçlerin nasıl çalıştığını daha fazla öğrenmek ister misin?

Bu kurs; kümeleme (batching), kuyruklama (queuing) ve akış işlemenin (stream processing) yanı sıra bunların veri işleme çerçevelerindeki yerini de içeren akış kavramlarına genel bir giriş sunar. Üretim ortamlarında akışın nasıl uygulandığına dair gerçek dünya örneklerini kapsar. Bu kavramlara genel bir giriş olarak tasarlanmıştır ve kapsamlı bir veri işleme geçmişi gerektirmez.


Understanding Data Engineering

Toplu işleme ve akış arasındaki farkı, akış sistemlerini ölçeklendirmeyi ve uygulamaları öğrenin.

Akış Kavramları

Toplu işleme ve akış arasındaki fark, akış sistemlerinin ölçeklendirilmesi ve gerçek dünya uygulamaları hakkında bilgi edinin.

Profesyonel Veri Mühendisi Python'da

Her gün 13:00'e kadar alınan tüm öğeleri işleme.

Her 2 saatte bir rastgele 10 görselden oluşan gruplar oluşturma.

Kullanıcı yorumlarını alındıkları sırayla işleme, ancak yalnızca sistemin boş işlem kapasitesi olduğunda.

Bir web uygulamasındaki kullanıcı tıklamalarını geldikçe depolama.

Kullanıcı şarkı isteklerini gecikmeden, mümkün olan en kısa sürede işleme.

Batch, queue veya stream?

Akış Kavramları

Uygulamalı etkileşimli egzersiz