Bắt đầu ngayBắt đầu miễn phí

Trang chủ
Khóa học
Giảm Chiều Dữ Liệu với Python

Các đặc trưng có giá trị thiếu hoặc phương sai thấp

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

Giảm Chiều Dữ Liệu với Python

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Bạn sẽ được giới thiệu khái niệm giảm chiều dữ liệu và học khi nào, tại sao điều này lại quan trọng. Bạn sẽ học sự khác biệt giữa chọn đặc trưng và trích xuất đặc trưng, và sẽ áp dụng cả hai kỹ thuật cho việc khám phá dữ liệu. Chương kết thúc với bài học về t-SNE, một kỹ thuật trích xuất đặc trưng mạnh mẽ cho phép bạn trực quan hóa một bộ dữ liệu có số chiều lớn.

Exercise 1: Giới thiệu Exercise 2: Tìm số chiều trong một tập dữ liệu Exercise 3: Loại bỏ các thuộc tính không có phương sai Exercise 4: Feature selection và feature extraction Exercise 5: Phát hiện trực quan các đặc trưng dư thừa Exercise 6: Ưu điểm của chọn đặc trưng Exercise 7: Trực quan hóa dữ liệu nhiều chiều với t-SNE Exercise 8: Trực giác về t-SNE Exercise 9: Huấn luyện t-SNE trên dữ liệu ANSUR Exercise 10: Trực quan hóa t-SNE của dữ liệu nhiều chiều

Trong chương đầu tiên trong hai chương về chọn đặc trưng, bạn sẽ tìm hiểu về “lời nguyền chiều dữ liệu” và cách giảm chiều giúp bạn vượt qua vấn đề này. Bạn sẽ được giới thiệu nhiều kỹ thuật để phát hiện và loại bỏ các đặc trưng mang lại ít giá trị gia tăng cho bộ dữ liệu, hoặc vì chúng có độ biến thiên thấp, quá nhiều giá trị khuyết, hoặc tương quan mạnh với các đặc trưng khác.

Exercise 1: Lời nguyền chiều dữ liệu cao Exercise 2: Chia tập huấn luyện - kiểm tra Exercise 3: Huấn luyện và kiểm thử mô hình Exercise 4: Độ chính xác sau khi giảm chiều dữ liệu Exercise 5: Các đặc trưng có giá trị thiếu hoặc phương sai thấp

Bài tập hiện tại

Exercise 6: Tìm ngưỡng phương sai phù hợp Exercise 7: Các thuộc tính có phương sai thấp Exercise 8: Loại bỏ các đặc trưng có nhiều giá trị khuyết Exercise 9: Tương quan từng cặp Exercise 10: Trực giác về tương quan Exercise 11: Khám phá ma trận tương quan Exercise 12: Trực quan hóa ma trận tương quan Exercise 13: Loại bỏ các đặc trưng tương quan cao Exercise 14: Lọc bỏ các đặc trưng tương quan cao Exercise 15: Năng lượng hạt nhân và chết đuối ở hồ bơi

Trong chương thứ hai về chọn đặc trưng, bạn sẽ học cách để các mô hình giúp bạn tìm ra những đặc trưng quan trọng nhất trong một bộ dữ liệu nhằm dự đoán một biến mục tiêu cụ thể. Ở bài học cuối của chương, bạn sẽ kết hợp gợi ý từ nhiều mô hình khác nhau để quyết định những đặc trưng nào đáng giữ lại.

Exercise 1: Chọn đặc trưng để cải thiện hiệu suất mô hình Exercise 2: Xây dựng bộ phân loại bệnh tiểu đường Exercise 3: Loại bỏ đặc trưng đệ quy thủ công (Manual RFE)Exercise 4: Loại bỏ đặc trưng đệ quy tự động Exercise 5: Chọn đặc trưng dựa trên cây quyết định Exercise 6: Xây dựng mô hình random forest Exercise 7: Random forest để chọn đặc trưng Exercise 8: Loại bỏ đặc trưng đệ quy với random forest Exercise 9: Hồi quy tuyến tính có regularization Exercise 10: Tạo bộ hồi quy LASSO Exercise 11: Kết quả mô hình Lasso Exercise 12: Điều chỉnh độ mạnh regularization Exercise 13: Kết hợp các bộ chọn đặc trưng Exercise 14: Tạo một bộ hồi quy LassoCV Exercise 15: Mô hình ensemble để có thêm lượt bình chọn Exercise 16: Kết hợp 3 bộ chọn đặc trưng

Chương này đi sâu vào thuật toán giảm chiều được dùng phổ biến nhất, Principal Component Analysis (PCA). Bạn sẽ xây dựng trực giác về cách thức và lý do thuật toán này lại mạnh mẽ, và sẽ áp dụng nó cho cả khám phá dữ liệu lẫn tiền xử lý dữ liệu trong một pipeline mô hình. Bạn sẽ kết thúc với một ví dụ thú vị về nén ảnh.

Exercise 1: Trích xuất đặc trưng Exercise 2: Trích xuất đặc trưng thủ công I Exercise 3: Trích xuất đặc trưng thủ công II Exercise 4: Trực giác về thành phần chính Exercise 5: Phân tích thành phần chính Exercise 6: Tính toán các thành phần chính (Principal Components)Exercise 7: PCA trên một tập dữ liệu lớn hơn Exercise 8: Phần phương sai được giải thích của PCA Exercise 9: Ứng dụng của PCA Exercise 10: Hiểu về các thành phần Exercise 11: PCA để khám phá đặc trưng Exercise 12: PCA trong pipeline mô hình Exercise 13: Chọn thành phần chính Exercise 14: Chọn tỷ lệ phương sai cần giữ lại Exercise 15: Chọn số lượng thành phần Exercise 16: PCA để nén ảnh Exercise 17: Chúc mừng bạn!