Ôn lại các kiến thức nền tảng về DataFrame và tầm quan trọng của việc làm sạch dữ liệu.

Giới thiệu về làm sạch dữ liệu với Apache Spark

Ôn tập làm sạch dữ liệu

Định nghĩa một schema

Tính bất biến và xử lý lười (lazy)

Ôn tập về tính bất biến

Sử dụng xử lý lười (lazy processing)

Tìm hiểu về Parquet

Lưu một DataFrame ở định dạng Parquet

SQL và Parquet

Chi tiết về DataFrame

Khám phá nhiều kỹ thuật để chỉnh sửa nội dung của DataFrame trong Spark.

Thao tác trên cột DataFrame

Lọc nội dung cột với Python

Câu hỏi về lọc #1

Câu hỏi lọc #2

Chỉnh sửa các cột của DataFrame

Thao tác cột DataFrame có điều kiện

Ví dụ when()

When / Otherwise

Hàm do người dùng định nghĩa

Tìm hiểu user defined functions (UDF)

Sử dụng hàm do người dùng định nghĩa trong Spark

Phân vùng và xử lý lười (lazy)

Thêm trường ID

ID với số phân vùng khác nhau

Thêm mẹo về ID

Thao tác với DataFrame trong thực tế

Cải thiện các tác vụ làm sạch dữ liệu bằng cách tăng hiệu năng hoặc giảm nhu cầu tài nguyên.

Bộ nhớ đệm (Caching)

Bộ nhớ đệm (cache) một DataFrame

Gỡ DataFrame khỏi bộ nhớ đệm (cache)

Cải thiện hiệu năng nhập dữ liệu

Tối ưu kích thước tệp

Tối ưu hiệu năng nhập tệp

Cấu hình cụm

Đọc cấu hình Spark

Ghi cấu hình Spark

Cải thiện hiệu năng

Join thông thường

Dùng broadcasting trong phép join của Spark

So sánh join broadcast và join thường

Tìm hiểu cách xử lý dữ liệu thực tế phức tạp bằng Spark và các kiến thức cơ bản về pipeline.

Giới thiệu về đường ống dữ liệu

Pipeline nhanh

Lỗi dữ liệu trong pipeline

Kỹ thuật xử lý dữ liệu

Loại bỏ các dòng chú thích

Loại bỏ các hàng không hợp lệ

Tách thành các cột

Phân tách sâu hơn

Xác thực dữ liệu

Xác thực các hàng qua phép join

Khám phá các dòng không hợp lệ

Phân tích cuối cùng và bàn giao

Phân tích dữ liệu chó

Số lượng trên mỗi ảnh

Phần trăm pixel thuộc về chó

Chúc mừng và bước tiếp theo

Xử lý phức tạp và pipeline dữ liệu

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

Làm việc với dữ liệu đã khó — làm việc với hàng triệu hay thậm chí hàng tỷ dòng còn khó hơn.
Bạn có nhận được một đoạn mã xử lý dữ liệu viết trên laptop với dữ liệu khá “sạch” không?
Rất có thể bạn đang được giao nhiệm vụ chuyển một quy trình dữ liệu cơ bản từ bản mẫu sang sản xuất.
Bạn có thể đã từng làm việc với dữ liệu thực tế: thiếu trường, định dạng kỳ lạ và quy mô dữ liệu lớn hơn nhiều bậc. Kể cả khi đây là điều hoàn toàn mới, khóa học này sẽ giúp bạn học những gì cần thiết để chuẩn bị các quy trình dữ liệu bằng Python với Apache Spark.
Bạn sẽ học về thuật ngữ, phương pháp và một số thực hành tốt để xây dựng một nền tảng xử lý dữ liệu hiệu quả, dễ bảo trì và dễ hiểu.

Intermediate Python

Introduction to PySpark

Tìm hiểu cách dùng PySpark để làm sạch dữ liệu trong Python với DataFrames và pipelines.

Làm sạch dữ liệu với PySpark

Dữ liệu lớn với PySpark

Data Engineering Consultant

Phân vùng và xử lý lười

Phân vùng

Xử lý lười

Thêm ID

ID tăng đơn điệu

Ghi chú

Hãy luyện tập!

Thao tác với DataFrame trong thực tế - Phân vùng và xử lý lười (lazy)

Phân vùng và xử lý lười (lazy)

Create Your Free Account