Bu bölümde, uygulama, ölçeklendirme ve kullanım sırasında karşılaşılabilecek olası zorluklar etrafında şekillenen toplu (batch) veri işlemeye dair temel kavramlara giriş yapacaksın.

Toplu işlemeye giriş

Yığın (batch) özellikleri

Yığın sıralaması

Toplu işlemeyi ölçeklendirme

Ölçekte

Yatay karşıtlık

Toplu işleme sorunları

Yığın (batch) sorunları

Yığın (batch) senaryoları

Veri İşleme Yöntemleri

Burada, akışın temellerini, olaya dayalı veri işlemeyi ve geleneksel toplu (batch) veri işlemenin karşısındaki avantajlarını öğreneceksin.

Olay tabanlı hesaplamaya giriş

Olay durumunda...

Etkinliğe hoş geldin!

Kuyruklama

Kuyruk özellikleri

Kuyruk kullanmalı mısın, kullanmamalı mısın

Tek sistemde veri akışı

Günlük akışı sırası

Günlükleme seçenekleri

Toplu işlemeye karşı akış (streaming)

Batch, queue veya stream?

Günlük akışı işlemcisi

Akışa Giriş

Bu bölüm, modern akış sistemlerinin arkasındaki kavramları, bunların nasıl ölçeklendirileceğini ve akış süreçlerini kullanırken karşılaşılan bazı sorunları tanıtır.

Gerçek zamanlı akışa giriş

Gerçek zamanlı mı?

Bu kez gerçekten gerçek zamanlı mı?

Akış sistemlerini dikey olarak ölçeklendirme

Ölçeklendirme nedenleri

Dikey ölçeklemek için...?

Yatay olarak ölçeklenen akış sistemleri

Yatayda büyütüldü

SLA güvenceleri

Akıştaki engeller

Akışın özellikleri

Sorun türleri

Akışla ilgili zorluklar

Akış Sistemleri

Bu son bölümde, yaygın akış sistemlerini öğrenecek ve farklı kullanım senaryolarında akış tabanlı veri işlemenin uygulanmasını değerlendireceksin.

Popüler akış sistemleri

Seçenekler

İfadeler

Doğru

Yanlış

Streaming gerçekleri

Gereksinimler

Celery

Kafka

Spark streaming

Akan akışları kesiştirmek...

Gerçek dünya kullanım alanı: müzik akış servisi

Öznitelikler

Gerekli

Gerekli Değil

Mesaj bileşenleri

Sorular

Yanıtlanabilir

Yanıtlanamaz

Bunu cevapla...

Gerçek dünya kullanım örneği: sensör verisi

SLA önceliği

SLA'ların harika sıralaması

Projeler

Dikey

Yatay

Sensör ölçekleme değerlendirmeleri

Gerçek dünya kullanım örneği: aşılama kliniği

Alanlar

Yığın (batch) işlem

Kuyruklu işlem

Akış (streaming) işlemi

Aşı kliniği - alanları sınıflandır

Batch

Queue

Stream

Yeni bir problem...

Tebrikler!

Gerçek Dünya Kullanım Senaryoları

Akış, günümüzde veri dünyasının çok büyük bir parçası ve üretimden sağlığa kadar neredeyse her sektörde kullanılıyor. Veri boru hatlarının arkasındaki genel kavramları ve süreçlerin nasıl çalıştığını daha fazla öğrenmek ister misin?

Bu kurs; kümeleme (batching), kuyruklama (queuing) ve akış işlemenin (stream processing) yanı sıra bunların veri işleme çerçevelerindeki yerini de içeren akış kavramlarına genel bir giriş sunar. Üretim ortamlarında akışın nasıl uygulandığına dair gerçek dünya örneklerini kapsar. Bu kavramlara genel bir giriş olarak tasarlanmıştır ve kapsamlı bir veri işleme geçmişi gerektirmez.


Understanding Data Engineering

Toplu işleme ve akış arasındaki farkı, akış sistemlerini ölçeklendirmeyi ve uygulamaları öğrenin.

Akış Kavramları

Toplu işleme ve akış arasındaki fark, akış sistemlerinin ölçeklendirilmesi ve gerçek dünya uygulamaları hakkında bilgi edinin.

Profesyonel Veri Mühendisi Python'da

Bir kullanıcının profil görselini ortak boyutlara yeniden ölçeklendirme

Bir kullanıcı yeni bir derse kaydolduğunda hoş geldin e-postası gönderme

Bir kopyaya ihtiyaç duyan sistem grubuna e-postaları iletme

Kullanıcı etkileşimlerini süresiz olarak saklama.

Çok sayıda iletiyi hızla işleyip içeriğin olumlu mu olumsuz mu olduğunu tahmin etme

Çok sayıda iletiyi bir formattan başka bir formata dönüştürme

Akan akışları kesiştirmek...

Akış Kavramları

Uygulamalı etkileşimli egzersiz