SMS スパム分類の最適化
以前に構築した SMS スパムモデルのパイプラインでは、すべての要素にデフォルトのパラメータが使用されていました。しかし、デフォルトのパラメータで特に優れたモデルが得られる可能性は低いです。この演習では、選択したパラメータ値に対してパイプラインを実行します。具体的には、各ハイパーパラメータの値をグリッド状に配置し、パイプラインをグリッド上の各点で体系的に実行します。
この演習では、SMS スパム分類器に適したパラメータの組み合わせを交差検証で選択するために使用できる、パラメータグリッドを設定します。
以下のオブジェクトはすでに定義済みです。
hasher—HashingTFオブジェクトlogistic—LogisticRegressionオブジェクト
この演習はコースの一部です
Machine Learning with PySpark
演習の手順
- パラメータグリッドビルダーオブジェクトを作成します。
HashingTFオブジェクトに対して、numFeaturesパラメータに 1024、4096、16384 の値を、binaryパラメータに True と False の値を指定してグリッド点を追加します。LogisticRegressionオブジェクトに対して、regParamパラメータに 0.01、0.1、1.0、10.0 の値を、elasticNetParamパラメータに 0.0、0.5、1.0 の値を指定してグリッド点を追加します。- パラメータグリッドを構築します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create parameter grid
params = ____()
# Add grid for hashing trick parameters
params = params.____(____, ____) \
.____(____, ____)
# Add grid for logistic regression parameters
params = params.____(____, ____) \
.____(____, ____)
# Build parameter grid
params = ____.____()