W tym rozdziale poznasz podstawowe koncepcje wsadowego przetwarzania danych – od implementacji, przez skalowanie, po potencjalne wyzwania związane z jego stosowaniem.

Wprowadzenie do przetwarzania wsadowego

Cechy przetwarzania wsadowego

Kolejność przetwarzania wsadowego

Skalowanie przetwarzania wsadowego

Kwestia skali

Skalowanie poziome pod lupą

Problemy z przetwarzaniem wsadowym

Scenariusze przetwarzania wsadowego

Metody przetwarzania danych

Tutaj nauczysz się podstaw strumieniowania, przetwarzania danych opartego na zdarzeniach oraz poznasz zalety tego podejścia w porównaniu z tradycyjnym przetwarzaniem wsadowym.

Wprowadzenie do przetwarzania zdarzeniowego

W przypadku zdarzenia...

Witaj w świecie zdarzeń!

Kolejkowanie

Cechy kolejki

Kolejka czy nie kolejka?

Strumieniowanie danych w pojedynczym systemie

Kolejność w strumieniu logów

Opcje logowania

Przetwarzanie wsadowe a strumieniowe

Wsad, kolejka czy strumień?

Procesor strumienia logów

Wprowadzenie do strumieniowania

Ten rozdział wprowadza koncepcje leżące u podstaw nowoczesnych systemów strumieniowania, omawia sposoby ich skalowania oraz typowe problemy pojawiające się podczas pracy z procesami strumieniowymi.

Wprowadzenie do streamingu w czasie rzeczywistym

Cechy

Czas rzeczywisty

Poza czasem rzeczywistym

Czas rzeczywisty?

Wymagania

Czy to naprawdę czas rzeczywisty?

Wertykalne skalowanie systemów strumieniowania

Powody skalowania

Opcje

Poprawi sytuację

Nie poprawi sytuacji

Jak skalować wertykalnie...?

Poziome skalowanie systemów strumieniowych

Pionowe

Poziome

Skalowanie w górę i w bok

Pomaga spełnić SLA

Nie pomaga spełnić SLA

Gwarancje SLA

Przeszkody w streamingu

Właściwości

Prawda

Fałsz

Właściwości strumieniowania

Sekwencje

Brakujące

Nie w kolejności

Opóźnione

Typy problemów

Problemy strumieniowania

Problemy przetwarzania wsadowego

Wyzwania strumieniowania

Systemy strumieniowania

W tym ostatnim rozdziale poznasz popularne systemy strumieniowania i przeanalizujesz implementację strumieniowego przetwarzania danych w różnych scenariuszach użycia.

Popularne systemy strumieniowania

Prawdy o streamingu

Łączenie strumieni...

Przykład z życia: serwis strumieniowania muzyki

Składniki wiadomości

Odpowiedz na pytanie...

Przykład z życia wzięty: dane z czujników

Właściwa kolejność SLA

Skalowanie systemów sensorów

Przykład z życia: klinika szczepień

Klinika szczepień – klasyfikacja obszarów

Nowy problem...

Gratulacje!

Przykłady zastosowań w praktyce

Strumieniowanie danych to jeden z najważniejszych trendów w świecie danych – wykorzystują je niemal wszystkie branże, od produkcji przemysłowej po opiekę zdrowotną. Chcesz dowiedzieć się więcej o ogólnych koncepcjach stojących za potokami danych i o tym, jak działają poszczególne procesy?

Ten kurs to ogólne wprowadzenie do koncepcji strumieniowania danych, obejmujące przetwarzanie wsadowe, kolejkowanie oraz przetwarzanie strumieniowe – a także ich miejsce w ramach struktur przetwarzania danych. Kurs omawia rzeczywiste przykłady wdrożeń strumieniowania w środowiskach produkcyjnych. Został zaprojektowany jako wprowadzenie do tych koncepcji i nie wymaga zaawansowanej wiedzy z zakresu przetwarzania danych.


Understanding Data Engineering

Poznaj różnice między batchingiem a streamingiem, skalowanie systemów streamingowych i ich zastosowania.

Koncepcje strumieniowania danych

Poznaj różnice między przetwarzaniem wsadowym a strumieniowym, skalowaniem systemów strumieniowych i zastosowaniami w praktyce.

Profesjonalny inżynier danych w Pythonie

Klient chce skrócić czas przetwarzania pojedynczego elementu. Wymieniasz procesor na szybszy.

Klient potrzebuje przetwarzać więcej zdarzeń jednocześnie. Podwajasz liczbę używanych systemów.

Współpracownik chce skrócić czas przetwarzania pojedynczego zdarzenia. Dodajesz 3 systemy do klastra.

Klient chce usprawnić proces ograniczony przez procesor. System ma już najszybszy dostępny procesor. Dodajesz dysk SSD.

Gwarancje SLA

Koncepcje strumieniowania danych

Interaktywne ćwiczenie praktyczne