1. Învăţa
  2. /
  3. Courses
  4. /
  5. Hugging Face で学ぶマルチモーダルモデル

Connected

exercise

パイプラインでキャプション生成

この演習では、30,000枚の画像とそのキャプションを含む flickr データセットをもう一度使います。今回は、auto クラスではなくパイプラインを使って、次の画像に対するキャプションを生成します。

Photo of a man standing on a ladder cleaning a window

データセット(dataset)は次の構造で読み込まれています。

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

パイプラインモジュール(pipeline)は読み込まれています。

Instrucţiuni

100 XP
  • Salesforce/blip-image-captioning-base の事前学習済みモデルで image-to-text パイプラインを読み込みます。
  • インデックス 3 の画像に対して、パイプラインでキャプションを生成します。