Skanna flera filer
Teamets utlåningsdata är nu uppdelad i en CSV-fil per år (seattle_2021.csv, seattle_2022.csv, seattle_2023.csv). Dessa filer använder de gamla kolumnnamnen usageclass och materialtype. Använd ett glob-mönster för att skanna alla filer tillsammans som ett logiskt dataset och bygg sedan en sammanfattning av fysiska utlån.
polars är inläst som pl, och katalogen finns i MULTIFILE_DIR.
Den här övningen är en del av kursen
Skalning och optimering av datapipelines med Polars
Övningsinstruktioner
- Skanna alla
seattle_*.csv-filer iMULTIFILE_DIRmed ett glob-mönster. - Filtrera det kombinerade datasetet till
"Physical"-utlån och gruppera sedan eftermaterialtype.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Scan every yearly file using a glob pattern
yearly_checkouts = pl.____(
str(MULTIFILE_DIR / "____")
)
# Build a physical-checkout summary across the combined dataset
result = (
yearly_checkouts
# Filter to physical
.filter(pl.col("usageclass") == "____")
.group_by("____")
.agg(pl.col("checkouts").sum().alias("total"))
.sort("total", descending=True)
.collect()
)
print(result)