Ускоренная фильтрация по отсортированным данным
Команде исторического анализа нужны все записи о выдачах до 2021 года. CSV-файл уже отсортирован по столбцу date, поэтому если сообщить об этом Polars, он сможет остановить сканирование, как только встретит первую строку за 2021 год.
Это упражнение является частью курса
Масштабирование и оптимизация конвейеров данных с Polars
Инструкции к упражнению
- Отметьте столбец
dateкак отсортированный, чтобы Polars мог использовать ускоренное сканирование. - Отфильтруйте строки, в которых
dateпредшествует 1 января 2021 года. - Выполните ленивый запрос.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
result = (
library
# Mark date as sorted to enable the fast-path scan
.____("date")
# Filter to rows before 2021-01-01
.filter(pl.col("date") < pl.____(2021, 1, 1))
# Execute the lazy query
.____()
)
print(result.head())