単語を超えて：トークン化（3）
ft_tokenizer() は、テキストデータをスペースで区切ることで単語を生成するシンプルな手法を使います。より高度な用途には、正規表現を使ってテキストを分割することができます。これには ft_regex_tokenizer() 関数を使います。この関数は ft_tokenizer() と同じ使い方ですが、分割パターンを指定するための pattern 引数が追加されています。
a_tibble %>%
ft_regex_tokenizer("x", "y", pattern = regex_pattern)
ft_regex_tokenizer() の戻り値は、ft_tokenizer() と同様に、文字ベクトルのリストのリストです。
データセットには artist_mbid というフィールドがあり、音楽メタデータの百科事典サイトである MusicBrainz 上のアーティスト ID が格納されています。この ID は、ハイフンで区切られた16進数の形式で、例えば 65b785d9-499f-48e6-9063-3a1fd1bd488d のようになっています。
この演習はコースの一部です
sparklyr を使った Spark 入門（R）
演習の手順
track_metadata_tblからartist_mbidフィールドを選択します。- MusicBrainz ID を16進数の数値ブロックに分割します。
ft_regex_tokenizer()を呼び出します。- 出力列の名前は
artist_mbid_chunksにします。 pattern引数にはハイフン-を使います。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# track_metadata_tbl has been pre-defined
track_metadata_tbl
track_metadata_tbl %>%
# Select artist_mbid column
___ %>%
# Split it by hyphens
___