検索補完システムを作る
検索補完(オートコンプリート)は、検索エンジンやメッセージアプリでよく使われるNLPアプリケーションです。ユーザーの入力途中のテキストに基づいて、あり得る補完を提案することが目的です。あなたのタスクは、Hugging Face の "text-generation" パイプラインを使って、ユーザーのクエリから関連する補完を生成する基本的なオートコンプリートシステムを実装することです。
この演習はコースの一部です
Pythonで学ぶ自然言語処理(NLP)
演習の手順
"distilgpt2"モデルでautocompleteパイプラインを作成します。- 指定された
promptに対して検索クエリのsuggestionsを5件生成し、それぞれを最大8トークンに制限します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from transformers import pipeline
# Create the pipeline
autocomplete = pipeline(task="____", model="____")
prompt = "Best books to read for"
# Generate search query completions
suggestions = ____
for suggestion in suggestions:
print(suggestion['generated_text'])