Grubbs検定で極端な値を検証する

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

この演習はコースの一部です

Rで学ぶ異常検知入門

SkillTag.level.intermediateSkillTag.label

4.8+

無料でコースを始める

この章では、数値要約やグラフ要約を使って、データに通常と異なる点が含まれていないかを非形式的に評価する方法を学びます。さらに、Grubbs 検定という統計的手続きを用いて特定の点が外れ値かどうかを確認し、時系列データにおける外れ値の特定に役立つ Seasonal-Hybrid ESD アルゴリズムについても学びます。

Exercise 1: アノマリーとは何を指すのでしょうか？Exercise 2: 異常の種類を見分ける Exercise 3: river の硝酸イオンデータを見てみましょう Exercise 4: Grubbs検定で極端な値を検証する

現在の演習

Exercise 5: 正規性の目視チェック Exercise 6: Grubbs検定 Exercise 7: Grubbs検定で複数の外れ値を見つける Exercise 8: 時系列における異常値 Exercise 9: 季節性の視覚的評価 Exercise 10: Seasonal Hybrid ESD アルゴリズム Exercise 11: Seasonal-Hybrid ESD の出力を読み解く Exercise 12: Seasonal-Hybrid ESD と Grubbs' 検定の比較

この章では、多変量データに対して各データ点の連続的な異常スコアを構成するために用いられる k-nearest neighbors 距離と local outlier factor の計算方法を学びます。さらに、ローカルな異常とグローバルな異常の違い、それぞれのケースでこれら2つのアルゴリズムがどのように役立つかを理解します。

Exercise 1: k近傍距離スコア Exercise 2: ワインを探索する Exercise 3: kNN距離行列 Exercise 4: kNN距離スコア Exercise 5: kNN距離の可視化 Exercise 6: 特徴量の標準化 Exercise 7: kNN スコアを追加する Exercise 8: kNN距離スコアの可視化 Exercise 9: Local outlier factor（局所外れ値因子）Exercise 10: LOF の計算 Exercise 11: LOF の可視化 Exercise 12: LOF と kNN の比較

k-nearest neighbors 距離と local outlier factor は、最近傍点までの距離や相対的な密度に基づいて各点をスコアリングします。この章では、代替となる木構造ベースの手法である isolation forest を取り上げます。これはデータをランダムに分割して小さな領域へと細分化していく過程で、各点がどれだけ容易に分離できるかを測る、迅速かつ堅牢な異常検知手法です。

Exercise 1: Isolation tree（アイソレーションツリー）Exercise 2: アイソレーションツリーでの学習と予測 Exercise 3: スコアの解釈 Exercise 4: Isolation forest（アイソレーションフォレスト）Exercise 5: Isolation forest をフィットする Exercise 6: 収束の確認 Exercise 7: Isolation スコアを可視化する Exercise 8: 点のグリッド Exercise 9: グリッド上での予測 Exercise 10: 異常スコアの等高線

これまでに、いくつかの異常スコアリング手法を紹介してきました。最終章では、ラベル付きの異常が利用できる場合に、各アルゴリズムの検出性能を比較する方法を学びます。異常スコアに対する precision（適合率）と recall（再現率）の計算と解釈、そしてカテゴリ型特徴量を含むデータにも対応できるようアルゴリズムを調整する方法を身につけます。

Exercise 1: ラベル付きの異常値 Exercise 2: 甲状腺データ Exercise 3: 甲状腺疾患を可視化する Exercise 4: 異常スコア Exercise 5: 性能を測定する Exercise 6: 二値化したスコア Exercise 7: 二値スコアのクロス集計 Exercise 8: 甲状腺データの適合率と再現率 Exercise 9: カテゴリ型特徴量を扱う Exercise 10: 文字列をfactorに変換する Exercise 11: factor を含む Isolation forest Exercise 12: 因子を含むデータでの LOF Exercise 13: まとめ