Szybkie filtrowanie posortowanych danych
Zespół analizy historycznej potrzebuje wszystkich rekordów wypożyczeń sprzed 2021 roku. Plik CSV jest już posortowany według kolumny date — jeśli poinformujesz o tym Polars, będzie mógł zakończyć skanowanie od razu po napotkaniu pierwszego wiersza z 2021 roku.
To ćwiczenie jest częścią kursu
Skalowanie i optymalizacja potoków danych w Polars
Instrukcje do ćwiczenia
- Oznacz kolumnę
datejako posortowaną, aby Polars mógł skorzystać ze szybkiego skanowania. - Przefiltruj wiersze, w których
datejest wcześniejsza niż 1 stycznia 2021 roku. - Wykonaj zapytanie leniwe.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
result = (
library
# Mark date as sorted to enable the fast-path scan
.____("date")
# Filter to rows before 2021-01-01
.filter(pl.col("date") < pl.____(2021, 1, 1))
# Execute the lazy query
.____()
)
print(result.head())