Začněte nyníZačněte zdarma

Multi-modální klasifikace sentimentu s Qwen

Teď propojíš svůj prompt s vizuálně-jazykovým modelem Qwen2! Využiješ šablonu promptu, kterou jsi vytvořil/a dříve a která je dostupná jako chat_template.

Podívejme se, co si model o tomto článku myslí! Model (vl_model) a procesor (vl_model_processor) jsou už načteny.

Toto cvičení je součástí kurzu

Multi-Modal Models with Hugging Face

Zobrazit kurz

Pokyny k cvičení

  • Pomocí procesoru předzpracuj chat_template.
  • Pomocí modelu vygeneruj výstupní ID a nezapomeň omezit počet nových tokenů na 500.
  • Dekóduj oříznutá vygenerovaná ID a přeskoč speciální tokeny.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

text = vl_model_processor.apply_chat_template(chat_template, tokenize=False, add_generation_prompt=True)
image_inputs, _ = process_vision_info(chat_template)

# Use the processor to preprocess the text and image
inputs = ____(
    text=[____],
    images=____,
    padding=True,
    return_tensors="pt",
)

# Use the model to generate the output IDs
generated_ids = vl_model.____(**inputs, ____)
generated_ids_trimmed = [out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)]

# Decode the generated IDs
output_text = vl_model_processor.____(
    generated_ids_trimmed, skip_special_tokens=True
)
print(output_text[0])
Upravit a spustit kód