Khám phá dữ liệu nitrate của sông

Trong bài tập này, bạn sẽ khám phá bộ dữ liệu river, được sử dụng xuyên suốt chương để minh họa các kỹ thuật phát hiện bất thường phổ biến. Dữ liệu river là một data.frame gồm ba cột sau:

index - số nguyên mô tả thứ tự của các quan sát nitrate
nitrate - nồng độ nitrate hòa tan hằng tháng được tìm thấy trong một con sông
month - một biến phân loại (factor) chứa tháng tương ứng với mỗi quan sát nitrate

Bạn sẽ khám phá cột nitrate bằng thống kê tóm tắt và biểu đồ hộp (boxplot) để đánh giá liệu có thể tồn tại các điểm bất thường (point anomalies) hay không.

Bài tập này là một phần của khóa học

Giới thiệu về Anomaly Detection bằng R

Xem khóa học

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Explore contents of dataset
___(___)

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Giới thiệu về Anomaly Detection bằng R

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Trong chương này, bạn sẽ học cách dùng các tóm tắt số liệu và đồ họa để đánh giá không chính thức xem dữ liệu có chứa điểm bất thường hay không. Bạn sẽ sử dụng một thủ tục thống kê gọi là kiểm định Grubbs để kiểm tra liệu một điểm có phải là outlier, và tìm hiểu về thuật toán Seasonal-Hybrid ESD, giúp nhận diện outlier khi dữ liệu ở dạng chuỗi thời gian.

Exercise 1: Chúng ta nói gì khi nhắc đến các điểm bất thường?Exercise 2: Nhận diện các loại bất thường Exercise 3: Khám phá dữ liệu nitrate của sông

Bài tập hiện tại

Exercise 4: Kiểm định các giá trị cực đoan với phép kiểm định Grubbs Exercise 5: Kiểm tra trực quan tính chuẩn Exercise 6: Kiểm định Grubbs Exercise 7: Săn tìm nhiều ngoại lệ bằng kiểm định Grubbs Exercise 8: Bất thường trong chuỗi thời gian Exercise 9: Đánh giá trực quan tính mùa vụ Exercise 10: Thuật toán Seasonal Hybrid ESD Exercise 11: Diễn giải đầu ra của Seasonal-Hybrid ESD Exercise 12: So sánh Seasonal-Hybrid ESD và kiểm định Grubbs

Trong chương này, bạn sẽ học cách tính khoảng cách k-nearest neighbors và local outlier factor, được dùng để xây dựng điểm số bất thường liên tục cho từng điểm dữ liệu khi dữ liệu có nhiều đặc trưng. Bạn cũng sẽ học sự khác nhau giữa bất thường cục bộ (local) và toàn cục (global), và cách mỗi thuật toán hỗ trợ trong từng trường hợp.

Exercise 1: Điểm khoảng cách k-nearest neighbors Exercise 2: Khám phá rượu vang Exercise 3: Ma trận khoảng cách kNN Exercise 4: Điểm khoảng cách kNN Exercise 5: Trực quan hóa khoảng cách kNN Exercise 6: Chuẩn hóa đặc trưng Exercise 7: Thêm điểm kNN Exercise 8: Trực quan hóa điểm khoảng cách kNN Exercise 9: Hệ số ngoại lai cục bộ Exercise 10: Tính toán LOF Exercise 11: Trực quan hóa LOF Exercise 12: LOF so với kNN

k-nearest neighbors distance và local outlier factor sử dụng khoảng cách hoặc mật độ tương đối của các láng giềng gần nhất để chấm điểm cho từng điểm dữ liệu. Trong chương này, bạn sẽ khám phá một cách tiếp cận thay thế dựa trên cây, gọi là isolation forest, một phương pháp nhanh và vững (robust) để phát hiện bất thường bằng cách đo lường mức độ dễ dàng tách biệt các điểm thông qua việc chia ngẫu nhiên dữ liệu thành các vùng ngày càng nhỏ.

Exercise 1: Cây cô lập (Isolation trees)Exercise 2: Fit và dự đoán với isolation tree Exercise 3: Diễn giải điểm số Exercise 4: Isolation forest Exercise 5: Huấn luyện isolation forest Exercise 6: Kiểm tra hội tụ Exercise 7: Trực quan hóa điểm cách ly Exercise 8: Lưới các điểm Exercise 9: Dự đoán trên một lưới điểm Exercise 10: Đường đồng mức bất thường

Bạn đã được giới thiệu một vài thuật toán chấm điểm bất thường. Ở chương cuối này, bạn sẽ học cách so sánh hiệu quả phát hiện của các thuật toán trong các tình huống có sẵn nhãn bất thường. Bạn sẽ học cách tính và diễn giải các thống kê precision và recall cho một điểm số bất thường, và cách điều chỉnh các thuật toán để có thể xử lý dữ liệu có đặc trưng phân loại (categorical).

Exercise 1: Các bất thường có nhãn Exercise 2: Dữ liệu tuyến giáp Exercise 3: Trực quan hóa bệnh tuyến giáp Exercise 4: Điểm bất thường Exercise 5: Đo lường hiệu suất Exercise 6: Điểm nhị phân Exercise 7: Bảng chéo cho điểm nhị phân Exercise 8: Độ chính xác (precision) và độ bao phủ (recall) cho tuyến giáp Exercise 9: Làm việc với đặc trưng phân loại Exercise 10: Chuyển từ character sang factor Exercise 11: Isolation forest với factor Exercise 12: LOF với factor Exercise 13: Tổng kết