1. Learn
  2. /
  3. Курси
  4. /
  5. Масштабування й оптимізація конвеєрів даних з Polars

Connected

Вправа

Сканування набору даних із hive-партиціюванням

Команда також зберігає очищені Parquet-файли про видачі у форматі з hive-партиціюванням: один каталог на рік (checkoutyear=2023/, checkoutyear=2024/). Проскануйте розділений на партиції набір даних і відфільтруйте за стовпцем партиції так, щоб Polars читав лише ті роки, які вам справді потрібні.

polars імпортовано як pl, а кореневий каталог збережено в HIVE_DIR. Каталоги партицій уже надруковано для вас, щоб ви бачили структуру.

Інструкції

100 XP
  • Проскануйте HIVE_DIR, використавши відповідний аргумент для увімкнення hive-партиціювання.
  • Відфільтруйте результат до видач починаючи з 2024 року.