Đánh giá perplexity
Thử tự tay tạo văn bản và đánh giá điểm perplexity.
Bạn đã được cung cấp một input_text là phần mở đầu của câu: "Current trends show that by 2030 ".
Hãy dùng một LLM để tạo phần còn lại của câu.
Một mô hình AutoModelForCausalLM và tokenizer tương ứng đã được nạp sẵn vào các biến model và tokenizer.
Bài tập này là một phần của khóa học
Nhập môn LLMs trong Python
Hướng dẫn bài tập
- Mã hóa
input_textvà truyền nó vào mô hình tạo văn bản đã cho. - Tải và tính điểm
mean_perplexitytrên văn bản đã tạo.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Encode the input text, generate and decode it
input_text_ids = ____(input_text, return_tensors="pt")
output = ____(input_text_ids, max_length=20)
generated_text = ____(output[0], skip_special_tokens=True)
print("Generated Text: ", generated_text)
# Load and compute the perplexity score
perplexity = ____("perplexity", module_type="metric")
results = ____(model_id="gpt2", predictions=____)
print("Perplexity: ", results['mean_perplexity'])