1. Lära sig
    2. /
  2. Courses
    3. /
  3. Kerasで学ぶMachine Translation
Connected

exercise

Keras で文をトークン化する

ここでは Keras の Tokenizer を実際に使ってみます。Keras の Tokenizer は、数行のコードで重要なテキスト前処理を行える便利なユーティリティです。たとえば、Keras の Tokenizer は、たった1回の関数呼び出しで語彙中の単語を ID に自動でマッピングしてくれます。ここでは、その詳細を学びます。

Keras の Tokenizer オブジェクトを作成し、いくつかのテキストに適合させます。これにより、Tokenizer は単語とその対応する ID の辞書を構築できます。Tokenizer の学習に使うテキストは、Udacity Github Repo から取得したものです。

Instruktioner

100 XP
  • Keras の Tokenizer オブジェクトを定義します。
  • en_text に対してトークナイザを適合させます。
  • 与えられたリスト ["january", "apples", "summer"] の各単語 w の単語 ID を取得します。
  • 単語とその対応する ID を出力します。