In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popüler akış sistemleri

Seçenekler

İfadeler

Doğru

Yanlış

Streaming gerçekleri

Gereksinimler

Celery

Kafka

Spark streaming

Akan akışları kesiştirmek...

Gerçek dünya kullanım alanı: müzik akış servisi

Öznitelikler

Gerekli

Gerekli Değil

Mesaj bileşenleri

Sorular

Yanıtlanabilir

Yanıtlanamaz

Bunu cevapla...

Gerçek dünya kullanım örneği: sensör verisi

SLA önceliği

SLA'ların harika sıralaması

Projeler

Dikey

Yatay

Sensör ölçekleme değerlendirmeleri

Gerçek dünya kullanım örneği: aşılama kliniği

Alanlar

Yığın (batch) işlem

Kuyruklu işlem

Akış (streaming) işlemi

Aşı kliniği - alanları sınıflandır

Batch

Queue

Stream

Yeni bir problem...

Tebrikler!

Real-World Use Cases

Akış, günümüzde veri dünyasının çok büyük bir parçası ve üretimden sağlığa kadar neredeyse her sektörde kullanılıyor. Veri boru hatlarının arkasındaki genel kavramları ve süreçlerin nasıl çalıştığını daha fazla öğrenmek ister misin?

Bu kurs; kümeleme (batching), kuyruklama (queuing) ve akış işlemenin (stream processing) yanı sıra bunların veri işleme çerçevelerindeki yerini de içeren akış kavramlarına genel bir giriş sunar. Üretim ortamlarında akışın nasıl uygulandığına dair gerçek dünya örneklerini kapsar. Bu kavramlara genel bir giriş olarak tasarlanmıştır ve kapsamlı bir veri işleme geçmişi gerektirmez.


Understanding Data Engineering

Toplu işleme ve akış arasındaki farkı, akış sistemlerini ölçeklendirmeyi ve uygulamaları öğrenin.

Akış Kavramları

Toplu işleme ve akış arasındaki fark, akış sistemlerinin ölçeklendirilmesi ve gerçek dünya uygulamaları hakkında bilgi edinin.

Profesyonel Veri Mühendisi Python'da

Bir kullanıcının profil görselini ortak boyutlara yeniden ölçeklendirme

Bir kullanıcı yeni bir derse kaydolduğunda hoş geldin e-postası gönderme

Bir kopyaya ihtiyaç duyan sistem grubuna e-postaları iletme

Kullanıcı etkileşimlerini süresiz olarak saklama.

Çok sayıda iletiyi hızla işleyip içeriğin olumlu mu olumsuz mu olduğunu tahmin etme

Çok sayıda iletiyi bir formattan başka bir formata dönüştürme

Akan akışları kesiştirmek...

Akış Kavramları

Uygulamalı interaktif egzersiz