LOF với factor

Hàm lof() có thể nhận đầu vào là một data frame số hoặc một ma trận khoảng cách để tính điểm LOF. Trong bài này, bạn sẽ luyện cách tính ma trận khoảng cách bằng khoảng cách Gower, sau đó truyền vào hàm lof() để chấm điểm.

Giống như bài trước, dữ liệu thyroid với các cột ký tự đã được chuyển thành factor đã được nạp sẵn để bạn sử dụng.

Bài tập này là một phần của khóa học

Giới thiệu về Anomaly Detection bằng R

Xem khóa học

Hướng dẫn bài tập

Tính ma trận khoảng cách Gower cho dữ liệu thyroid, gán kết quả vào đối tượng mới thyroid_dist.
Dùng thyroid_dist để tạo LOF cho mỗi bệnh nhân với k = 10.
In phạm vi (range) của các khoảng cách có trong ma trận thyroid_dist.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Calculate Gower's distance matrix
thyroid_dist <- daisy(___, metric = ___)

# Generate LOF scores for thyroid data
thyroid_lof <- lof(thyroid_dist, k = 10)

# Range of values in the distance matrix
___(as.matrix(___))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Giới thiệu về Anomaly Detection bằng R

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ học cách dùng các tóm tắt số liệu và đồ họa để đánh giá không chính thức xem dữ liệu có chứa điểm bất thường hay không. Bạn sẽ sử dụng một thủ tục thống kê gọi là kiểm định Grubbs để kiểm tra liệu một điểm có phải là outlier, và tìm hiểu về thuật toán Seasonal-Hybrid ESD, giúp nhận diện outlier khi dữ liệu ở dạng chuỗi thời gian.

Exercise 1: Chúng ta nói gì khi nhắc đến các điểm bất thường?Exercise 2: Nhận diện các loại bất thường Exercise 3: Khám phá dữ liệu nitrate của sông Exercise 4: Kiểm định các giá trị cực đoan với phép kiểm định Grubbs Exercise 5: Kiểm tra trực quan tính chuẩn Exercise 6: Kiểm định Grubbs Exercise 7: Săn tìm nhiều ngoại lệ bằng kiểm định Grubbs Exercise 8: Bất thường trong chuỗi thời gian Exercise 9: Đánh giá trực quan tính mùa vụ Exercise 10: Thuật toán Seasonal Hybrid ESD Exercise 11: Diễn giải đầu ra của Seasonal-Hybrid ESD Exercise 12: So sánh Seasonal-Hybrid ESD và kiểm định Grubbs

Trong chương này, bạn sẽ học cách tính khoảng cách k-nearest neighbors và local outlier factor, được dùng để xây dựng điểm số bất thường liên tục cho từng điểm dữ liệu khi dữ liệu có nhiều đặc trưng. Bạn cũng sẽ học sự khác nhau giữa bất thường cục bộ (local) và toàn cục (global), và cách mỗi thuật toán hỗ trợ trong từng trường hợp.

Exercise 1: Điểm khoảng cách k-nearest neighbors Exercise 2: Khám phá rượu vang Exercise 3: Ma trận khoảng cách kNN Exercise 4: Điểm khoảng cách kNN Exercise 5: Trực quan hóa khoảng cách kNN Exercise 6: Chuẩn hóa đặc trưng Exercise 7: Thêm điểm kNN Exercise 8: Trực quan hóa điểm khoảng cách kNN Exercise 9: Hệ số ngoại lai cục bộ Exercise 10: Tính toán LOF Exercise 11: Trực quan hóa LOF Exercise 12: LOF so với kNN

k-nearest neighbors distance và local outlier factor sử dụng khoảng cách hoặc mật độ tương đối của các láng giềng gần nhất để chấm điểm cho từng điểm dữ liệu. Trong chương này, bạn sẽ khám phá một cách tiếp cận thay thế dựa trên cây, gọi là isolation forest, một phương pháp nhanh và vững (robust) để phát hiện bất thường bằng cách đo lường mức độ dễ dàng tách biệt các điểm thông qua việc chia ngẫu nhiên dữ liệu thành các vùng ngày càng nhỏ.

Exercise 1: Cây cô lập (Isolation trees)Exercise 2: Fit và dự đoán với isolation tree Exercise 3: Diễn giải điểm số Exercise 4: Isolation forest Exercise 5: Huấn luyện isolation forest Exercise 6: Kiểm tra hội tụ Exercise 7: Trực quan hóa điểm cách ly Exercise 8: Lưới các điểm Exercise 9: Dự đoán trên một lưới điểm Exercise 10: Đường đồng mức bất thường

Bạn đã được giới thiệu một vài thuật toán chấm điểm bất thường. Ở chương cuối này, bạn sẽ học cách so sánh hiệu quả phát hiện của các thuật toán trong các tình huống có sẵn nhãn bất thường. Bạn sẽ học cách tính và diễn giải các thống kê precision và recall cho một điểm số bất thường, và cách điều chỉnh các thuật toán để có thể xử lý dữ liệu có đặc trưng phân loại (categorical).

Exercise 1: Các bất thường có nhãn Exercise 2: Dữ liệu tuyến giáp Exercise 3: Trực quan hóa bệnh tuyến giáp Exercise 4: Điểm bất thường Exercise 5: Đo lường hiệu suất Exercise 6: Điểm nhị phân Exercise 7: Bảng chéo cho điểm nhị phân Exercise 8: Độ chính xác (precision) và độ bao phủ (recall) cho tuyến giáp Exercise 9: Làm việc với đặc trưng phân loại Exercise 10: Chuyển từ character sang factor Exercise 11: Isolation forest với factor Exercise 12: LOF với factor

Bài tập hiện tại

Exercise 13: Tổng kết