重複質問の検出
あるスタートアップが、サポートフォーラムのユーザー体験向上のためにQ&Aアシスタントを開発しています。重要な機能の一つは、同じ内容の質問が別の言い回しで投稿されたときに検出することです。あなたは、事前学習済みのQQPモデルを使って、2つの質問が重複(同義の問い)かどうかを判定するソリューションを実装するよう依頼されています。
この演習はコースの一部です
Pythonで学ぶ自然言語処理(NLP)
演習の手順
"textattack/bert-base-uncased-QQP"モデルで適切なclassifierパイプラインを初期化します。- パイプラインを使って、
question_1とquestion_2がパラフレーズかどうかを分類します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
from transformers import pipeline
# Initialize the pipeline
classifier = ____(task="____", model="____")
question_1 = "What's the process to change my password?"
question_2 = "How do I reset my account password?"
# Detect if the two questions are paraphrases
result = classifier({
"____": ____,
"____": ____
})
print(result)