perplexity を評価する
テキスト生成と perplexity スコアの評価に挑戦しましょう。
文の書き出しとして input_text が用意されています: "Current trends show that by 2030 ".
LLM を使って文の続きを生成してください。
AutoModelForCausalLM モデルとそのトークナイザーは、model と tokenizer という変数名で読み込まれています。
この演習はコースの一部です
Pythonで学ぶ LLM 入門
演習の手順
input_textをエンコードして、提供されたテキスト生成モデルに渡してください。- 生成したテキストに対して、
mean_perplexityスコアを読み込み、計算してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])