Trong chương này, bạn sẽ học cách làm việc với notebook của Databricks, nạp dữ liệu CSV vào Spark DataFrame, và định hình dữ liệu bằng PySpark và SQL.

Làm việc với notebook của Databricks

Tìm hiểu Databricks notebook

Tải bộ dữ liệu đầu tiên của bạn

Khám phá driver logs

Định hình dữ liệu với PySpark và SQL

Dùng PySpark để định hình dữ liệu

Phân tích dữ liệu với SQL

Tìm hiểu về temporary view

Nạp và định hình dữ liệu

Tìm hiểu cách xác định schema tường minh, xây dựng pipeline làm sạch dữ liệu, và tối ưu hiệu năng truy vấn với broadcast join.

Làm sạch dữ liệu và kiểm tra chất lượng

Vì sao schema tường minh quan trọng

Làm sạch bộ dữ liệu online retail

Chọn đúng chỉ số chất lượng

Tổng hợp và join dữ liệu hiệu quả

Join và tổng hợp dữ liệu bán lẻ

Hiểu về điểm nghẽn do shuffle

Khi nào nên dùng broadcast join

Làm sạch và tối ưu hóa dữ liệu

Tìm hiểu cách tính tổng lũy kế và xếp hạng bằng window functions, xây dựng pipeline streaming, và triển khai quy trình sản xuất.

Hàm cửa sổ và truy vấn streaming

Xếp hạng khách hàng với window functions

Streaming dữ liệu bán lẻ vào Delta Lake

Tiếp tục sau khi khởi động lại

Pipeline sản xuất với workflows

Ghi và đọc một bảng Delta

Xây dựng pipeline job nhiều tác vụ

Vì sao chuyển sang Lakeflow?

Tổng kết

Phân tích và pipeline sản xuất

transactions

country_lookup

online_retail

Sẵn sàng xử lý dữ liệu thực tế ở quy mô lớn? Khóa học này hướng dẫn bạn chuyển đổi các tập dữ liệu lớn bằng Spark SQL và PySpark trong Databricks. Học cách định hình và làm sạch dữ liệu, chạy tổng hợp với các phép join được tối ưu, và áp dụng window functions cho phân tích nâng cao. Bạn cũng sẽ thiết lập streaming dựa trên tệp với checkpoint chịu lỗi và lưu kết quả dưới dạng bảng Delta. Cuối khóa, bạn sẽ điều phối các pipeline nhiều bước ở môi trường sản xuất bằng Databricks Workflows và Lakeflow Declarative Pipelines.


Introduction to Databricks SQL

Introduction to PySpark

Xây dựng quy trình dữ liệu từ đầu đến cuối - từ làm sạch, tổng hợp đến truyền tải và điều phối.

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Xây dựng pipeline dữ liệu end-to-end - từ làm sạch và tổng hợp đến streaming và orchestration.


Tổng kết

Create Your Free Account