ÎncepețiÎncepe gratuit

Clasificarea sentimentelor multi-modal cu Qwen

Acum integrează promptul tău cu modelul de limbaj vizual Qwen2! Vei folosi șablonul de prompt creat anterior, disponibil ca chat_template.

Hai să vedem ce crede modelul despre acest articol! Modelul (vl_model) și preprocesorul (vl_model_processor) au fost deja încărcate pentru tine.

Acest exercițiu face parte din cursul

Modele Multi-Modale cu Hugging Face

Vezi cursul

Instrucțiuni pentru exercițiu

  • Folosește preprocesorul pentru a preprocesa chat_template.
  • Folosește modelul pentru a genera ID-urile de ieșire, asigurându-te că limitezi tokenii noi la 500.
  • Decodează ID-urile generate truniate, omițând tokenii speciali.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

text = vl_model_processor.apply_chat_template(chat_template, tokenize=False, add_generation_prompt=True)
image_inputs, _ = process_vision_info(chat_template)

# Use the processor to preprocess the text and image
inputs = ____(
    text=[____],
    images=____,
    padding=True,
    return_tensors="pt",
)

# Use the model to generate the output IDs
generated_ids = vl_model.____(**inputs, ____)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]

# Decode the generated IDs
output_text = vl_model_processor.____(
    generated_ids_trimmed, skip_special_tokens=True
)
print(output_text[0])
Editează și rulează codul