データの前処理

マルチクラス分類におけるデータ前処理の違いを学びました。ここでは、シンプルなマルチクラス分類モデルの作成を見据えて、前処理を実践しましょう。

データセットは変数 news_dataset に読み込まれており、次の属性を持ちます。

news_dataset.data: テキストの配列
news_dataset.target: 目的カテゴリを数値インデックスで表した配列

サンプルデータには 5,000 件の観測が含まれます。

Tokenizer クラスを tokenizer 変数でインスタンス化します。
テキストデータに対して tokenizer をフィットします。
テキストデータに .texts_to_sequences() メソッドを適用します。
目的インデックスを準備するために to_categorical() 関数を使用します。