Bắt đầu ngayBắt đầu miễn phí

Trang chủ
Khóa học
Mở rộng và tối ưu hóa pipeline dữ liệu với Polars

Làm việc với bộ dữ liệu nhiều tệp

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

Mở rộng và tối ưu hóa pipeline dữ liệu với Polars

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Học cách giữ truy vấn ở chế độ lazy để tối ưu tối đa, đọc và diễn giải kế hoạch truy vấn, và mở khóa các đường chạy nhanh bằng profiling và dữ liệu đã sắp xếp.

Exercise 1: Thực thi truy vấn hiệu quả Exercise 2: Xem nhanh dữ liệu theo cách lười (lazy)Exercise 3: Tổng hợp lượt mượn kỹ thuật số Exercise 4: Thu thập hai báo cáo cùng lúc Exercise 5: Tối ưu hóa và kế hoạch truy vấn Exercise 6: Đọc naive plan Exercise 7: Đọc kế hoạch đã tối ưu Exercise 8: Truy vấn được tối ưu thực sự làm gì Exercise 9: Khai thác tối đa khả năng tối ưu hóa Exercise 10: Pivot lười sang định dạng rộng Exercise 11: Hồ sơ hiệu năng cho một truy vấn lazy Exercise 12: Lọc nhanh trên dữ liệu đã sắp xếp

Học cách đọc và ghi tệp Parquet, phân tích CSV lộn xộn, quét bộ dữ liệu nhiều tệp và phân vùng dạng hive, và truy vấn cơ sở dữ liệu trực tiếp từ Polars.

Exercise 1: Làm việc với tệp Parquet Exercise 2: Kiểm tra schema của Parquet Exercise 3: Tóm tắt dữ liệu Parquet Exercise 4: Ghi một ảnh chụp Parquet Exercise 5: Phân tích CSV Exercise 6: Phân tích một tệp CSV lộn xộn Exercise 7: Ghi đè schema suy luận Exercise 8: Bỏ qua lỗi phân tích cú pháp Exercise 9: Làm việc với bộ dữ liệu nhiều tệp

Bài tập hiện tại

Exercise 10: Quét nhiều tệp Exercise 11: Chèn các cột bị thiếu Exercise 12: Quét một tập dữ liệu phân vùng theo kiểu hive Exercise 13: Làm việc với cơ sở dữ liệu Exercise 14: Đọc từ SQLite bằng URI Exercise 15: Thêm dữ liệu vào bảng lịch sử SQLite Exercise 16: Truy vấn DuckDB vào Polars

Chương này đề cập đến làm việc với cột List và Struct, mã hóa chuỗi lặp lại dưới dạng dtype Categorical và Enum, và giảm sử dụng bộ nhớ thông qua downcast kiểu số.

Exercise 1: Xử lý dữ liệu mảng Exercise 2: Trích xuất thể loại chính Exercise 3: Đếm số thể loại cho mỗi phim Exercise 4: Đếm độ phổ biến của thể loại Exercise 5: Làm việc với các cột lồng nhau Exercise 6: Bỏ lồng production_country Exercise 7: Đổi tên các trường của country Exercise 8: Tạo dtype Object Exercise 9: Sử dụng kiểu dữ liệu Categorical và Enum Exercise 10: Tạo cột Categorical Exercise 11: Dùng biểu thức cho categorical Exercise 12: Tạo một cột Enum Exercise 13: Giảm áp lực bộ nhớ Exercise 14: Kiểm tra phạm vi số Exercise 15: Giảm cấp các cột số Exercise 16: Ước tính kích thước DataFrame

Học cách dùng engine streaming và GPU, ghi trực tiếp kết quả truy vấn lớn xuống đĩa với phân vùng, và kiểm thử pipeline bằng các assertion tích hợp của Polars.

Exercise 1: Làm việc với các engine streaming và GPU Exercise 2: Nhắm đích vào streaming engine Exercise 3: Xử lý kết quả truy vấn theo lô Exercise 4: Ghi kết quả truy vấn lớn xuống đĩa Exercise 5: Ghi trích xuất đã làm sạch xuống Parquet Exercise 6: Ghép kênh các Parquet sink Exercise 7: Dùng batch sink tùy chỉnh Exercise 8: Kiểm thử pipeline Polars Exercise 9: So sánh DataFrame với equals Exercise 10: Kiểm thử schema Exercise 11: Kiểm thử toàn bộ DataFrame Exercise 12: Chúc mừng bạn!