Vision Language Models (VLMs) へのプロンプト設計

次の2つの演習では、Hugging Face の BBC News データセットにあるニュース記事と、その記事の見出し画像を組み合わせて、マルチモーダルモデルで感情分析を行います。

BBC News dataset card

まず、画像とニュース記事の両方を含むチャットテンプレートを準備します。データセット（dataset）と見出し画像（image）は読み込まれています。

dataset のインデックス 6 のデータポイントから、ニュース記事の本文（content）を読み込みます。
f-string を使って content を text_query に挿入し、テキストクエリを完成させます。
image と text_query をチャットテンプレートに追加し、text_query のコンテンツタイプを "text" として指定します。