既存の特徴量を変換するのはなぜ？

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

この演習はコースの一部です

Rで学ぶ特徴量エンジニアリング

SkillTag.level.intermediateSkillTag.label

4.8+

無料でコースを始める

生データは、必ずしも分析に最適な形で与えられるとは限りません。この第1章では、モデルの性能と解釈性を高めるために、特徴量をどのように変換・作成するかを最初に見ていきます。

Exercise 1: 特徴量エンジニアリングとは何ですか？Exercise 2: 試作モデル Exercise 3: 手作業で特徴量を設計する Exercise 4: ドメイン知識を用いた新しい特徴量の作成 Exercise 5: 分析に向けたデータの準備 Exercise 6: ワークフローを構築する Exercise 7: 生データの情報量を高める Exercise 8: 欠損値を見つける Exercise 9: 欠損値の代入とダミー変数の作成 Exercise 10: モデルの学習と評価 Exercise 11: ホテル予約を予測する

この章では、手作業での変換にとどまらず、tidyverse のツールを活用してプログラム的に新しい変数を作成できることを学びます。こうしたアプローチがモデルの再現性を高め、特に多くの特徴量を含むデータセットを扱う際に有用であることを確認します。

Exercise 1: 既存の特徴量を変換するのはなぜ？

現在の演習

Exercise 2: データをざっと確認しましょう Exercise 3: 正規化と対数変換 Exercise 4: Fit と augment Exercise 5: モデル評価をカスタマイズする Exercise 6: よく使われる特徴量変換 Exercise 7: よく使われる変換 Exercise 8: プレーンなレシピ Exercise 9: Box-Cox 変換 Exercise 10: Yeo-Johnson 変換 Exercise 11: 高度な変換 Exercise 12: ベースライン Exercise 13: step_poly()Exercise 14: step_percentile()Exercise 15: 誰が残る？

この章では、高次元データから次元を削減し、特徴量を抽出することがモデルに有益である場面を学びます。具体的には、テキストデータを数値に変換する方法、カテゴリデータのエンコーディング、変数の予測力の順位付けなどを扱います。主成分分析、カーネル主成分分析、テキストからの数値抽出、カテゴリカル・エンコーディング、変数重要度スコアといった手法を探究します。

Exercise 1: 次元削減 Exercise 2: 下準備を整えよう Exercise 3: 構造を掘り下げる Exercise 4: 寄与率（Percent of variance explained）Exercise 5: 寄与率の可視化 Exercise 6: 特徴ハッシング Exercise 7: 教育分野を調べる Exercise 8: 行列へ Exercise 9: ハッシュを探索する Exercise 10: ハッシングを可視化する Exercise 11: 教師あり学習によるカテゴリカルデータのエンコーディング Exercise 12: ワークフローを準備する Exercise 13: 学習、拡張、評価 Exercise 14: モデルをまとめて結合する Exercise 15: 変数の重要度 Exercise 16: ワークフローを作成する Exercise 17: フィットとオーグメント Exercise 18: 主要な予測因子はどれですか？

このコースの締めくくりとして、特徴量エンジニアリングと Machine Learning の手法を学びます。まず、利用可能なすべての特徴量をモデルに使うことによる問題点に着目し、無関係・冗長な特徴量を見極めて除去する重要性、そして lasso や elastic-net のような埋め込み法でそれを行う方法を学びます。次に、lasso、ridge、elastic-net などの縮小法を取り上げ、係数の正則化や、係数をゼロにして特徴量選択を行う手法を学びます。最後に、エンドツーエンドの特徴量エンジニアリングのワークフローを構築し、これまで学んだ概念や関数を小さなプロジェクトで復習・実践して締めくくります。

Exercise 1: モデルの特徴量を減らす Exercise 2: 変数重要度を見極める Exercise 3: 利用可能なすべての説明変数でモデル性能を評価する Exercise 4: 縮約モデルを構築する Exercise 5: 収縮法（Shrinkage methods）Exercise 6: Lasso による手動正則化 Exercise 7: ペナルティのチューニング Exercise 8: モデルを最終化する Exercise 9: 総まとめ Exercise 10: 前処理と分割 Exercise 11: 前処理 Exercise 12: モデル Exercise 13: 評価 Exercise 14: おめでとうございます！