Multimodalna klasyfikacja sentymentu z Qwen
Czas zintegrować swój prompt z modelem Qwen2 Vision Language Model! Skorzystasz z szablonu promptu, który wcześniej utworzyłeś – jest on dostępny jako chat_template.
Sprawdźmy, co model sądzi o tym artykule! Model (vl_model) i procesor (vl_model_processor) zostały już załadowane.
To ćwiczenie jest częścią kursu
Modele multimodalne z Hugging Face
Instrukcje do ćwiczenia
- Użyj procesora, aby wstępnie przetworzyć
chat_template. - Użyj modelu do wygenerowania identyfikatorów wyjściowych, pamiętając o ograniczeniu liczby nowych tokenów do
500. - Zdekoduj przycięte wygenerowane identyfikatory, pomijając tokeny specjalne.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
text = vl_model_processor.apply_chat_template(chat_template, tokenize=False, add_generation_prompt=True)
image_inputs, _ = process_vision_info(chat_template)
# Use the processor to preprocess the text and image
inputs = ____(
text=[____],
images=____,
padding=True,
return_tensors="pt",
)
# Use the model to generate the output IDs
generated_ids = vl_model.____(**inputs, ____)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]
# Decode the generated IDs
output_text = vl_model_processor.____(
generated_ids_trimmed, skip_special_tokens=True
)
print(output_text[0])