Trong chương này, bạn sẽ được giới thiệu các khái niệm cơ bản trong xử lý dữ liệu theo lô (batch), xoay quanh triển khai, mở rộng và những thách thức có thể gặp khi sử dụng.

Giới thiệu về xử lý theo lô

Đặc điểm

Quy trình theo lô

Khác

Đặc điểm của xử lý theo lô

Thứ tự xử lý theo lô

Mở rộng xử lý theo lô

Thuộc tính mở rộng

Mở rộng theo chiều dọc

Mở rộng theo chiều ngang

Trên thang mở rộng

Đối xứng theo chiều ngang

Các vấn đề trong xử lý theo lô

Vấn đề với batch

Các kịch bản

Phù hợp với xử lý theo lô

Không phù hợp với xử lý theo lô

Các kịch bản theo lô (batch)

Phương pháp xử lý dữ liệu

Tại đây, bạn sẽ tìm hiểu các kiến thức nền tảng về streaming, xử lý dữ liệu dựa trên sự kiện, và những ưu điểm so với xử lý dữ liệu theo lô truyền thống.

Giới thiệu về điện toán dựa trên sự kiện

Trong trường hợp...

Chào mừng đến với sự kiện!

Hệ thống hàng đợi

Đặc trưng của hàng đợi

Dùng queue hay không dùng queue

Truyền dữ liệu trong một hệ thống

Thứ tự của luồng log

Tùy chọn ghi log

Xử lý theo lô và xử lý theo dòng (batching vs. streaming)

Batch, queue, hay stream?

Bộ xử lý luồng log

Nhập môn Streaming

Chương này giới thiệu các khái niệm đứng sau những hệ thống streaming hiện đại, cách mở rộng chúng và một số vấn đề thường gặp khi sử dụng quy trình streaming.

Giới thiệu về streaming thời gian thực

Thời gian thực?

Lần này có phải thời gian thực không?

Tăng quy mô theo chiều dọc cho hệ thống streaming

Lý do mở rộng

Để mở rộng theo chiều dọc...?

Mở rộng hệ thống streaming theo chiều ngang

Cam kết SLA

Trở ngại trong streaming

Các thuộc tính của streaming

Các loại sự cố

Thách thức trong streaming

Hệ thống Streaming

Trong chương cuối, bạn sẽ tìm hiểu về các hệ thống streaming phổ biến và cân nhắc việc triển khai xử lý dữ liệu dạng streaming trong các tình huống sử dụng khác nhau.

Các hệ thống streaming phổ biến

Sự thật về streaming

Giao thoa luồng dữ liệu...

Tình huống thực tế: dịch vụ nhạc trực tuyến

Thành phần của thông điệp

Trả lời giúp tôi...

Tình huống thực tế: dữ liệu cảm biến

Thứ tự SLA hợp lý

Cân nhắc mở rộng cho cảm biến

Tình huống thực tế: phòng khám tiêm chủng

Phòng tiêm chủng - phân loại khu vực

Một bài toán mới...

Chúc mừng bạn!

Tình huống sử dụng thực tế

Streaming hiện là một mảng rất lớn trong thế giới dữ liệu và được hầu hết mọi ngành áp dụng, từ sản xuất đến chăm sóc sức khỏe. Bạn muốn tìm hiểu thêm về các khái niệm tổng quát đằng sau data pipeline và cách các quy trình vận hành không?

Khóa học này giới thiệu tổng quan về các khái niệm streaming như batching, queuing và xử lý luồng, cũng như vị trí của chúng trong các khung xử lý dữ liệu. Khóa học bao gồm các ví dụ thực tế về cách streaming được triển khai trong môi trường sản xuất. Đây là phần nhập môn cho các khái niệm này và không đòi hỏi nền tảng chuyên sâu về xử lý dữ liệu.


Understanding Data Engineering

Tìm hiểu sự khác biệt giữa batching và streaming, mở rộng hệ thống streaming và ứng dụng thực tế.

Mở rộng xử lý theo lô

Create Your Free Account