演習

Bag-of-words を選ぼう

bag-of-words の理解をさっと確認しましょう。基本的な nltk のトークナイズを用いると、次のテキストの bag-of-words は以下のどれになりますか。

"The cat is in the box. The cat box."

50 XP

('the', 3), ('box.', 2), ('cat', 2), ('is', 1)

('The', 3), ('box', 2), ('cat', 2), ('is', 1), ('in', 1), ('.', 1)

('the', 3), ('cat box', 1), ('cat', 1), ('box', 1), ('is', 1), ('in', 1)

('The', 2), ('box', 2), ('.', 2), ('cat', 2), ('is', 1), ('in', 1), ('the', 1)