Aan de slagGa gratis aan de slag

Multi-modale sentimentclassificatie met Qwen

Tijd om je prompt te koppelen aan het Qwen2 Vision Language Model! Je gebruikt de prompttemplate die je eerder hebt gemaakt, beschikbaar als chat_template.

Laten we kijken wat het model van dit artikel vindt! Het model (vl_model) en de processor (vl_model_processor) zijn alvast voor je geladen.

Deze oefening maakt deel uit van de cursus

Multi-modale modellen met Hugging Face

Cursus bekijken

Oefeninstructies

  • Gebruik de processor om chat_template te preprocessen.
  • Gebruik het model om de output-ID's te genereren en beperk het aantal nieuwe tokens tot 500.
  • Decodeer de bijgesneden gegenereerde ID's en sla speciale tokens over.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

text = vl_model_processor.apply_chat_template(chat_template, tokenize=False, add_generation_prompt=True)
image_inputs, _ = process_vision_info(chat_template)

# Use the processor to preprocess the text and image
inputs = ____(
    text=[____],
    images=____,
    padding=True,
    return_tensors="pt",
)

# Use the model to generate the output IDs
generated_ids = vl_model.____(**inputs, ____)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]

# Decode the generated IDs
output_text = vl_model_processor.____(
    generated_ids_trimmed, skip_special_tokens=True
)
print(output_text[0])
Code bewerken en uitvoeren