Triển khai một pipeline ETL trên Kubernetes

Bạn sẽ triển khai một pipeline ETL trên Kubernetes. Các bước Extract, Transform và Load sẽ được thực hiện bởi các Pod, đọc và ghi vào các Persistent Volume tương ứng do các Persistent Volume Claim tạo ra.

Nhiệm vụ của bạn là tìm tổng số hành khách đi taxi vàng NYC theo nhóm từ 2 người trở lên. "Extract Pod" của bạn sẽ chuẩn bị dữ liệu ban đầu dưới dạng tệp CSV và chuyển cho "Transform Pod". Pod này sẽ tinh chỉnh dữ liệu taxi vàng vào một cơ sở dữ liệu SQLite, chọn toàn bộ dữ liệu cần thiết cho phép tính cuối cùng, và chuyển cho "Load Pod". Pod cuối cùng này sẽ cộng tổng số hành khách, hiển thị kết quả và lưu lại dưới dạng tệp CSV.

Tất cả các bước này sẽ được thực hiện bằng các đối tượng Kubernetes tiêu chuẩn mà bạn đã biết. Đã có sẵn hai thư mục, "Docker/" và "Manifests/", chứa các tệp cần thiết để tạo Docker image và triển khai chúng bằng Kubernetes.