Развёртывание ETL-конвейера в Kubernetes

Вы развернёте ETL-конвейер в Kubernetes. Шаги Extract (извлечение), Transform (преобразование) и Load (загрузка) будут выполнены с помощью подов, которые читают данные и записывают их в соответствующие постоянные тома, созданные через запросы на постоянные тома (Persistent Volume Claims).

Ваша задача — найти общее количество пассажиров, воспользовавшихся жёлтым такси Нью-Йорка группами от 2 человек и более. «Под Extract» подготовит исходные данные в виде CSV-файла и передаст их «Поду Transform». Этот под преобразует данные о жёлтом такси в базу данных SQLite, выберет все данные, необходимые для итогового вычисления, и передаст их «Поду Load». Последний под суммирует все данные о пассажирах, выведет результат и сохранит его в CSV-файл.

Все эти шаги будут выполнены с помощью стандартных объектов Kubernetes, с которыми вы уже знакомы. Заранее подготовлены две директории — "Docker/" и "Manifests/" — в них хранятся необходимые файлы для создания Docker-образов и их развёртывания в Kubernetes.