Tổng kết

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

Nhập môn Spark SQL bằng Python

SkillTag.level.advancedSkillTag.label

4.7+

Trong chương này bạn sẽ học cách tạo và truy vấn một bảng SQL trong Spark. Spark SQL mang tính biểu đạt của SQL vào Spark. Bạn cũng sẽ học cách dùng SQL window functions trong Spark. Window functions thực hiện phép tính trên các hàng có liên quan đến hàng hiện tại. Chúng giúp đơn giản hóa đáng kể những kết quả khó thể hiện chỉ với joins và các phép tổng hợp truyền thống. Chúng ta sẽ dùng window functions để tính tổng lũy kế, hiệu lũy kế và các thao tác khác vốn khó thực hiện trong SQL cơ bản.

Exercise 1: Tạo và truy vấn bảng SQL trong Spark Exercise 2: Tạo một bảng SQL từ dataframe Exercise 3: Xác định tên các cột của một bảng Exercise 4: SQL với window function Exercise 5: Tính tổng chạy bằng window function trong SQL Exercise 6: Sửa truy vấn bị lỗi Exercise 7: Cú pháp dấu chấm và SQL Exercise 8: Tổng hợp dữ liệu, từng bước một Exercise 9: Gộp cùng một cột hai lần Exercise 10: Tổng hợp với dot SQL Exercise 11: Chuyển window function từ dot notation sang SQL

Trong chương này, bạn sẽ nạp văn bản ngôn ngữ tự nhiên. Sau đó bạn sẽ áp dụng phân tích cửa sổ trượt để tìm các chuỗi từ xuất hiện thường xuyên.

Exercise 1: Tải văn bản ngôn ngữ tự nhiên Exercise 2: Tải một dataframe từ tệp parquet Exercise 3: Tách và explode một cột văn bản Exercise 4: Sử dụng monotonically_increasing_id()Exercise 5: Phân tích cửa sổ trượt Exercise 6: Tạo dữ liệu đặc trưng cửa sổ ngữ cảnh Exercise 7: Phân vùng lại dữ liệu Exercise 8: Chuỗi từ phổ biến Exercise 9: Đây là loại dữ liệu nào Exercise 10: Tìm các chuỗi từ phổ biến Exercise 11: Các 5-tuple duy nhất theo thứ tự đã sắp xếp Exercise 12: Bộ 3 từ xuất hiện nhiều nhất theo từng chương

Trong các chương trước, bạn đã học cách tận dụng tính biểu đạt của window function SQL. Tuy nhiên, chính sự linh hoạt này khiến việc hiểu cách cache đúng cách các dataframe và cache bảng SQL trở nên quan trọng. Cũng quan trọng không kém là biết cách đánh giá ứng dụng của bạn. Bạn sẽ học cách thực hiện việc này bằng Spark UI. Bạn cũng sẽ học một thực hành tốt cho việc ghi log trong Spark. Spark SQL còn mang đến một công cụ hữu ích khác để tinh chỉnh hiệu năng truy vấn: kế hoạch thực thi truy vấn. Bạn sẽ học cách dùng kế hoạch thực thi để đánh giá nguồn gốc (provenance) của một dataframe.

Exercise 1: Bộ nhớ đệm (Caching)Exercise 2: Thực hành cache: phần 1 Exercise 3: Thực hành caching: phần SQL Exercise 4: Luyện tập cache: tổng hợp mọi thứ Exercise 5: Cache và bỏ cache bảng Exercise 6: Giao diện Spark (Spark UI)Exercise 7: Thẻ Storage trong Spark UI Exercise 8: Kiểm tra cache trong Spark UI Exercise 9: Ghi nhật ký Exercise 10: Thực hành logging Exercise 11: Thực hành logging 2 Exercise 12: Kế hoạch truy vấn Exercise 13: Thực hành kế hoạch truy vấn Exercise 14: Luyện đọc query plan 2

Các chương trước đã cung cấp cho bạn công cụ để nạp văn bản thô, tách token và trích xuất chuỗi từ. Điều này vốn đã rất hữu ích cho phân tích, đồng thời cũng hữu ích cho Machine Learning. Những gì bạn đã học sẽ được kết nối lại bằng cách dùng logistic regression để phân loại văn bản. Kết thúc chương này, bạn sẽ nạp dữ liệu văn bản ngôn ngữ tự nhiên thô và dùng nó để huấn luyện một bộ phân loại văn bản.

Exercise 1: Extract Transform Select Exercise 2: Luyện tập tạo UDF Exercise 3: Luyện tập với cột mảng Exercise 4: Tạo dữ liệu đặc trưng cho bài toán phân loại Exercise 5: Tạo UDF cho dữ liệu vector Exercise 6: Áp dụng UDF cho dữ liệu vector Exercise 7: Chuyển văn bản sang dạng vector Exercise 8: Phân loại văn bản Exercise 9: Gán nhãn dữ liệu Exercise 10: Chia dữ liệu Exercise 11: Huấn luyện bộ phân loại Exercise 12: Dự đoán và đánh giá Exercise 13: Đánh giá bộ phân loại Exercise 14: Dự đoán trên dữ liệu kiểm thử Exercise 15: Tổng kết

Bài tập hiện tại