Trực quan hóa LOF

Tương tự như chấm điểm theo khoảng cách kNN, biểu đồ phân tán có thể giúp bạn hình dung vì sao một điểm có điểm số thấp hoặc cao. Trong bài này, điểm LOF được trực quan hóa bằng cách phóng to/thu nhỏ các điểm theo giá trị điểm số. Bạn sẽ thấy một vài khác biệt về vị trí của các điểm có điểm số cao nhất so với khoảng cách kNN.

Dữ liệu wine cho bài này đã có cột score được thêm từ bài trước.

Bài tập này là một phần của khóa học

Giới thiệu về Anomaly Detection bằng R

Xem khóa học

Hướng dẫn bài tập

Dùng biểu đồ phân tán để vẽ pH theo alcohol từ dữ liệu wine. Các điểm nên là các chấm đặc với kích thước phụ thuộc vào điểm LOF.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Scatterplot showing pH, alcohol and LOF score
plot(pH ~ alcohol, ___)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Giới thiệu về Anomaly Detection bằng R

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ học cách dùng các tóm tắt số liệu và đồ họa để đánh giá không chính thức xem dữ liệu có chứa điểm bất thường hay không. Bạn sẽ sử dụng một thủ tục thống kê gọi là kiểm định Grubbs để kiểm tra liệu một điểm có phải là outlier, và tìm hiểu về thuật toán Seasonal-Hybrid ESD, giúp nhận diện outlier khi dữ liệu ở dạng chuỗi thời gian.

Exercise 1: Chúng ta nói gì khi nhắc đến các điểm bất thường?Exercise 2: Nhận diện các loại bất thường Exercise 3: Khám phá dữ liệu nitrate của sông Exercise 4: Kiểm định các giá trị cực đoan với phép kiểm định Grubbs Exercise 5: Kiểm tra trực quan tính chuẩn Exercise 6: Kiểm định Grubbs Exercise 7: Săn tìm nhiều ngoại lệ bằng kiểm định Grubbs Exercise 8: Bất thường trong chuỗi thời gian Exercise 9: Đánh giá trực quan tính mùa vụ Exercise 10: Thuật toán Seasonal Hybrid ESD Exercise 11: Diễn giải đầu ra của Seasonal-Hybrid ESD Exercise 12: So sánh Seasonal-Hybrid ESD và kiểm định Grubbs

Trong chương này, bạn sẽ học cách tính khoảng cách k-nearest neighbors và local outlier factor, được dùng để xây dựng điểm số bất thường liên tục cho từng điểm dữ liệu khi dữ liệu có nhiều đặc trưng. Bạn cũng sẽ học sự khác nhau giữa bất thường cục bộ (local) và toàn cục (global), và cách mỗi thuật toán hỗ trợ trong từng trường hợp.

Exercise 1: Điểm khoảng cách k-nearest neighbors Exercise 2: Khám phá rượu vang Exercise 3: Ma trận khoảng cách kNN Exercise 4: Điểm khoảng cách kNN Exercise 5: Trực quan hóa khoảng cách kNN Exercise 6: Chuẩn hóa đặc trưng Exercise 7: Thêm điểm kNN Exercise 8: Trực quan hóa điểm khoảng cách kNN Exercise 9: Hệ số ngoại lai cục bộ Exercise 10: Tính toán LOF Exercise 11: Trực quan hóa LOF

Bài tập hiện tại

Exercise 12: LOF so với kNN

k-nearest neighbors distance và local outlier factor sử dụng khoảng cách hoặc mật độ tương đối của các láng giềng gần nhất để chấm điểm cho từng điểm dữ liệu. Trong chương này, bạn sẽ khám phá một cách tiếp cận thay thế dựa trên cây, gọi là isolation forest, một phương pháp nhanh và vững (robust) để phát hiện bất thường bằng cách đo lường mức độ dễ dàng tách biệt các điểm thông qua việc chia ngẫu nhiên dữ liệu thành các vùng ngày càng nhỏ.

Exercise 1: Cây cô lập (Isolation trees)Exercise 2: Fit và dự đoán với isolation tree Exercise 3: Diễn giải điểm số Exercise 4: Isolation forest Exercise 5: Huấn luyện isolation forest Exercise 6: Kiểm tra hội tụ Exercise 7: Trực quan hóa điểm cách ly Exercise 8: Lưới các điểm Exercise 9: Dự đoán trên một lưới điểm Exercise 10: Đường đồng mức bất thường

Bạn đã được giới thiệu một vài thuật toán chấm điểm bất thường. Ở chương cuối này, bạn sẽ học cách so sánh hiệu quả phát hiện của các thuật toán trong các tình huống có sẵn nhãn bất thường. Bạn sẽ học cách tính và diễn giải các thống kê precision và recall cho một điểm số bất thường, và cách điều chỉnh các thuật toán để có thể xử lý dữ liệu có đặc trưng phân loại (categorical).

Exercise 1: Các bất thường có nhãn Exercise 2: Dữ liệu tuyến giáp Exercise 3: Trực quan hóa bệnh tuyến giáp Exercise 4: Điểm bất thường Exercise 5: Đo lường hiệu suất Exercise 6: Điểm nhị phân Exercise 7: Bảng chéo cho điểm nhị phân Exercise 8: Độ chính xác (precision) và độ bao phủ (recall) cho tuyến giáp Exercise 9: Làm việc với đặc trưng phân loại Exercise 10: Chuyển từ character sang factor Exercise 11: Isolation forest với factor Exercise 12: LOF với factor Exercise 13: Tổng kết