始める無料で始める

ホーム
コース
Pythonで学ぶ次元削減

欠損値が多い、または分散が小さい特徴量

Create Your Free Account

or

Email Address

Password

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

この演習はコースの一部です

Pythonで学ぶ次元削減

SkillTag.level.intermediateSkillTag.label

4.8+

無料でコースを始める

この章では次元削減の概念を紹介し、その重要性と使いどきを学びます。特徴量選択と特徴量抽出の違いを理解し、両手法を用いてデータ探索を行います。章の最後では、高次元データを可視化できる強力な特徴量抽出手法である t-SNE を学びます。

Exercise 1: 導入 Exercise 2: データセットの次元数を確認する Exercise 3: 分散のない特徴量を削除する Exercise 4: 特徴選択 vs. 特徴抽出 Exercise 5: 冗長な特徴量を視覚的に見つける Exercise 6: 特徴選択の利点 Exercise 7: 高次元データのt-SNE可視化 Exercise 8: t-SNE の直感 Exercise 9: ANSURデータへのt-SNEの適用 Exercise 10: t-SNE による次元の可視化

特徴量選択に関する2章構成のうち最初の章では、次元の呪いと、それを乗り越えるための次元削減について学びます。分散が小さい、欠損値が多い、または他の特徴量と強く相関しているといった理由で、データセットにほとんど価値を追加しない特徴量を検出・除去するための手法をいくつか紹介します。

Exercise 1: 次元の呪い Exercise 2: 学習用データとテスト用データへの分割 Exercise 3: モデルの学習と評価 Exercise 4: 次元削減後の精度 Exercise 5: 欠損値が多い、または分散が小さい特徴量

現在の演習

Exercise 6: 適切な分散しきい値を見つける Exercise 7: 分散の小さい特徴量 Exercise 8: 欠損値が多い特徴量を削除する Exercise 9: ペアワイズ相関 Exercise 10: 相関の直感 Exercise 11: 相関行列を確認する Exercise 12: 相関行列の可視化 Exercise 13: 相関の高い特徴量を削除する Exercise 14: 高い相関をもつ特徴量の除外 Exercise 15: 原子力発電とプールでの溺死

特徴量選択の2つ目の章では、特定の目的変数を予測するために、どの特徴量が最も重要かをモデルに見つけさせる方法を学びます。章の最後のレッスンでは、複数の異なるモデルの助言を組み合わせて、保持すべき特徴量を判断します。

Exercise 1: モデル性能のための特徴量選択 Exercise 2: 糖尿病分類器を構築する Exercise 3: 手動による再帰的特徴量削減（RFE）Exercise 4: 自動再帰的特徴削除 Exercise 5: 木構造モデルによる特徴量選択 Exercise 6: ランダムフォレストモデルを構築する Exercise 7: 特徴選択のためのランダムフォレスト Exercise 8: ランダムフォレストでの再帰的特徴削除（RFE）Exercise 9: 正則化線形回帰 Exercise 10: LASSO 回帰モデルを作成する Exercise 11: Lasso モデルの結果 Exercise 12: 正則化強度を調整する Exercise 13: 特徴選択器を組み合わせる Exercise 14: LassoCV 回帰器の作成 Exercise 15: 追加の票を集めるためのアンサンブルモデル Exercise 16: 3つの特徴選択器を組み合わせる

この章では、最も頻繁に使われる次元削減アルゴリズムである Principal Component Analysis (PCA) を掘り下げます。なぜこのアルゴリズムが強力なのかについて直感を養い、データ探索とモデリングパイプラインの前処理の両方で適用します。最後は、画像圧縮のクールなユースケースで締めくくります。

Exercise 1: 特徴抽出 Exercise 2: 手動による特徴抽出 I Exercise 3: 手動による特徴量抽出 II Exercise 4: 主成分の直感 Exercise 5: 主成分分析 Exercise 6: 主成分の計算 Exercise 7: より大きなデータセットでのPCA Exercise 8: PCA の寄与率を確認する Exercise 9: PCAの活用例 Exercise 10: 主成分の理解 Exercise 11: 特徴探索のためのPCA Exercise 12: モデルパイプラインでのPCA Exercise 13: 主成分の選択 Exercise 14: 保持する分散の割合を選ぶ Exercise 15: 主成分の数を選ぶ Exercise 16: 画像圧縮のためのPCA Exercise 17: おめでとうございます！