Perplexity 평가하기
텍스트를 생성하고 perplexity 점수를 평가해 보세요.
문장 시작 부분인 input_text가 제공됩니다: "Current trends show that by 2030 ".
LLM을 사용해 문장의 나머지를 생성하세요.
AutoModelForCausalLM 모델과 해당 tokenizer는 model, tokenizer 변수로 이미 로드되어 있어요.
이 연습은 강의의 일부입니다
Python으로 배우는 LLM 입문
연습 안내
input_text를 인코딩하고, 제공된 텍스트 생성 모델에 전달하세요.- 생성된 텍스트에 대해
mean_perplexity점수를 불러와 계산하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])