Lời kết

Create Your Free Account

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

Bài tập này là một phần của khóa học

Xử lý dữ liệu khuyết bằng Imputation trong R

SkillTag.level.advancedSkillTag.label

4.8+

Trong chương này, bạn sẽ biết vì sao dữ liệu khuyết có thể là rủi ro khi phân tích tập dữ liệu. Bạn sẽ được giới thiệu ba cơ chế gây dữ liệu khuyết và học cách nhận diện chúng bằng kiểm định thống kê và công cụ trực quan hóa.

Exercise 1: Dữ liệu khuyết: điều gì có thể xảy ra sai sót Exercise 2: Hồi quy tuyến tính với dữ liệu không đầy đủ Exercise 3: Phân tích đầu ra hồi quy Exercise 4: So sánh các mô hình Exercise 5: Cơ chế dữ liệu khuyết Exercise 6: Nhận diện cơ chế dữ liệu thiếu Exercise 7: Kiểm định t cho MAR: chuẩn bị dữ liệu Exercise 8: t-test cho MAR: diễn giải Exercise 9: Trực quan hóa các mẫu dữ liệu thiếu Exercise 10: Biểu đồ tổng hợp (aggregation plot)Exercise 11: Biểu đồ cột sống (spine plot)Exercise 12: Biểu đồ mosaic

Làm quen với phân loại các phương pháp imputation và học ba kỹ thuật dựa trên mẫu cho: điền trung bình, hot-deck, và k-Nearest-Neighbors. Bạn sẽ “mở nắp capo” để xem các phương pháp này vận hành thế nào trước khi áp dụng chúng vào một tập dữ liệu thời tiết nhiệt đới thực tế. Đồng thời, bạn cũng sẽ học các mẹo hữu ích để khiến chúng hoạt động hiệu quả hơn cho bài toán của bạn.

Exercise 1: Điền giá trị thiếu bằng trung bình (Mean imputation)Exercise 2: Ngửi thấy rủi ro của phép nội suy theo trung bình Exercise 3: Bù trung bình cho nhiệt độ Exercise 4: Đánh giá chất lượng thế giá trị bằng biểu đồ biên (margin plot)Exercise 5: Bổ khuyết kiểu hot-deck Exercise 6: Hot-deck dạng cơ bản Exercise 7: Mẹo hot-deck I: nội suy theo miền (domain)Exercise 8: Mẹo hot-deck II: sắp xếp theo biến tương quan Exercise 9: Quy nạp k-Nearest-Neighbors Exercise 10: Chọn số lượng hàng xóm Exercise 11: Mẹo kNN I: gán trọng số cho donor Exercise 12: Mẹo kNN II: sắp xếp biến

Đến lúc học cách dùng các mô hình thống kê và Machine Learning, như hồi quy tuyến tính, hồi quy logistic, và random forest, để thực hiện imputation cho dữ liệu khuyết. Trong chương này, bạn sẽ tìm hiểu cách các mô hình đưa ra dự đoán và dùng kiến thức đó để rút giá trị điền từ các phân phối có điều kiện. Điều này quan trọng vì nó giúp các phép imputation đa dạng và hợp lý hơn, gần với dữ liệu thật hơn.

Exercise 1: Cách tiếp cận nội suy dựa trên mô hình Exercise 2: Bổ sung thiếu bằng hồi quy tuyến tính Exercise 3: Khởi tạo giá trị thiếu & lặp qua các biến Exercise 4: Phát hiện hội tụ Exercise 5: Tái tạo độ biến thiên của dữ liệu Exercise 6: Bù khuyết bằng logistic regression Exercise 7: Lấy mẫu từ phân phối có điều kiện Exercise 8: Nội suy dựa trên mô hình với nhiều kiểu biến Exercise 9: Bù khuyết dựa trên cây (tree-based)Exercise 10: Điền khuyết bằng random forests Exercise 11: Lỗi nội suy theo biến Exercise 12: Đánh đổi giữa tốc độ và độ chính xác

Các giá trị đã điền không phải bất biến. Chúng chỉ là ước lượng, và mọi ước lượng đều đi kèm bất định. Trong chương cuối, bạn sẽ khám phá cách bootstrapping và chained equations bằng gói mice có thể được dùng để đưa bất định do imputation vào mô hình và phân tích của bạn, giúp chúng đáng tin cậy và vững vàng hơn.

Exercise 1: Bù khuyết đa lần bằng bootstrapping Exercise 2: Gói gọn bước điền khuyết & mô hình hóa trong một hàm Exercise 3: Chạy bootstrap Exercise 4: Bootstrapping khoảng tin cậy Exercise 5: Bổ khuyết đa lần bằng phương trình xích Exercise 6: Quy trình mice: mice - with - pool Exercise 7: Chọn mô hình mặc định Exercise 8: Sử dụng ma trận biến dự báo (predictor matrix)Exercise 9: Tổng hợp mọi thứ lại Exercise 10: Phân tích các mẫu dữ liệu khuyết Exercise 11: Theo dõi nội suy và kiểm tra biến đầu ra Exercise 12: Suy luận với dữ liệu đã bù khuyết Exercise 13: Lời kết

Bài tập hiện tại