Giới thiệu tổng quan về PySpark và tính toán phân tán. Phần này giới thiệu PySpark, PySpark DataFrame và RDD.

Giới thiệu về PySpark

Tạo một SparkSession

Tải dữ liệu điều tra dân số

Giới thiệu về PySpark DataFrame

Khả năng mở rộng và hiệu năng

Đọc CSV và thực hiện phép tổng hợp

Lọc theo công ty

Tìm hiểu thêm về Spark DataFrames

Suy luận và lọc

Viết schema

Giới thiệu về Apache Spark và PySpark

Tiếp tục với DataFrame và kiểu dữ liệu phức tạp. Phần này mở rộng những gì DataFrame cung cấp trong PySpark và giới thiệu một số khái niệm Spark SQL.

Xử lý dữ liệu với DataFrame

Xử lý dữ liệu thiếu với fill và drop

Thao tác với cột - tạo và đổi tên cột

Các thao tác DataFrame nâng cao

Kết hợp DataFrame

Join các chuyến bay với sân bay điểm đến

Bạn tự định nghĩa? Bạn tự dùng!

Định nghĩa UDF

Số nguyên trong UDF của PySpark

Pandas UDFs

PySpark trong Python

Tìm hiểu cách tận dụng Spark SQL và PySpark cho xử lý dữ liệu có khả năng mở rộng, kết hợp sự đơn giản của SQL với sức mạnh tính toán phân tán của PySpark để xử lý hiệu quả các tập dữ liệu lớn.

Bộ dữ liệu phân tán bền bỉ (RDD) trong PySpark

Tạo RDD

Thu thập RDDs

Giới thiệu về Spark SQL

Truy vấn trên temp view

Chạy SQL trên DataFrame

Phân tích với SQL trên DataFrame

Tổng hợp trong PySpark

Tổng hợp trong RDD

Các phép tổng hợp phức tạp

PySpark ở quy mô lớn

Broadcasting

Tổng hợp mọi thứ I

Tổng hợp mọi thứ II

Chúng ta đã học được gì?

Nhập môn PySpark SQL

Course Glossary

Adults

Transportation

Salaries

Khóa học này dành cho kỹ sư dữ liệu, nhà khoa học dữ liệu và người làm Machine Learning muốn làm việc với tập dữ liệu lớn bằng PySpark. Bạn sẽ khám phá tốc độ và khả năng mở rộng của Apache Spark, học cách tạo Spark session, làm việc với RDD, và thao tác với DataFrame qua các bài thực hành. Khóa học cũng đề cập đến PySpark SQL, hướng dẫn bạn truy vấn dữ liệu bằng SQL, xử lý schema và kiểu dữ liệu phức tạp, cũng như tối ưu hiệu năng trong môi trường phân tán. Kết thúc khóa học, bạn sẽ có kỹ năng nền tảng để xử lý và phân tích dữ liệu lớn, làm tiền đề cho các ứng dụng nâng cao như Machine Learning và phân tích dữ liệu lớn.

Video có kèm phụ đề trực tiếp, bạn có thể hiển thị bằng cách bấm "Show transcript" ở góc dưới bên trái của video.
Thuật ngữ của khóa học nằm ở phần tài nguyên bên phải.
Để nhận tín chỉ CPE, bạn cần hoàn thành khóa học và đạt 70% ở bài đánh giá đủ điều kiện. Bạn có thể đi tới bài đánh giá bằng cách bấm vào phần giới thiệu tín chỉ CPE ở bên phải.

Khóa học này hoàn hảo cho các kỹ sư dữ liệu, Nhà khoa học dữ liệu và những người thực hành học máy đang tìm kiếm cách làm việc hiệu quả với các bộ dữ liệu lớn. Dù bạn đang chuyển từ các công cụ như Pandas hay lần đầu tiên tìm hiểu về các công nghệ dữ liệu lớn, khóa học này mang đến một phần giới thiệu vững chắc về PySpark và xử lý dữ liệu phân tán.<br><br>
<h2>Tại sao chọn Spark? Tại sao bây giờ?</h2>
Khám phá tốc độ và khả năng mở rộng của Apache Spark, framework mạnh mẽ được thiết kế để xử lý big data. Thông qua các bài học tương tác và bài tập thực hành, bạn sẽ thấy cách xử lý trong bộ nhớ của Spark mang lại lợi thế cho nó so với các framework truyền thống như Hadoop. Bạn sẽ bắt đầu bằng cách thiết lập các phiên Spark và tìm hiểu sâu về các thành phần cốt lõi như Resilient Distributed Datasets (RDDs) và DataFrames. Học cách lọc, nhóm và kết hợp các bộ dữ liệu một cách dễ dàng khi làm việc với các ví dụ thực tế.<br><br>
<h2>Nâng cao kỹ năng Python và SQL của bạn cho Big Data</h2>
Tìm hiểu cách tận dụng PySpark SQL để truy vấn và quản lý dữ liệu bằng cú pháp SQL quen thuộc. Giải quyết các schema, kiểu dữ liệu phức tạp và hàm do người dùng định nghĩa (UDF), đồng thời xây dựng kỹ năng lưu vào bộ nhớ đệm và tối ưu hóa hiệu suất cho các hệ thống phân tán.<br><br>
<h2>Xây dựng Nền tảng Big Data của bạn</h2>
Kết thúc khóa học này, bạn sẽ tự tin xử lý, truy vấn và xử lý big data bằng PySpark. Với những kỹ năng nền tảng này, bạn sẽ sẵn sàng khám phá các chủ đề nâng cao như học máy và phân tích dữ liệu lớn.

Introduction to SQL

Data Manipulation with pandas

Thành thạo PySpark để xử lý dữ liệu lớn dễ dàng—học cách xử lý, truy vấn và tối ưu hóa dữ liệu lớn!

Nhập môn PySpark

Thành thạo PySpark để xử lý big data dễ dàng—học cách xử lý, truy vấn và tối ưu hóa các bộ dữ liệu khổng lồ cho phân tích mạnh mẽ!

Associate Data Engineer in Databricks

Dữ liệu lớn với PySpark

Chuyên gia Khoa học Học máy trong Python

Kỹ sư dữ liệu chuyên nghiệp trong Python

Định nghĩa UDF

Nhập môn PySpark

Bài tập tương tác thực hành