ComeçarComece de graça

Geração de legendas de pipeline

Neste exercício, você vai usar de novo o conjunto de dados do Flickr, que tem 30.000 imagens e legendas associadas. Agora você vai criar uma legenda para a imagem a seguir usando um pipeline em vez das classes automáticas.

Foto de um cara em cima de uma escada limpando uma janela

O conjunto de dados (dataset) foi carregado com a seguinte estrutura:

Dataset({
    features: ['image', 'caption', 'sentids', 'split', 'img_id', 'filename'],
    num_rows: 10
})

O módulo pipeline (pipeline) foi carregado.

Este exercício faz parte do curso

Modelos multimodais com Hugging Face

Ver curso

Instruções do exercício

  • Carregue o pipeline image-to-text com o modelo pré-treinado Salesforce/blip-image-captioning-base.
  • Use o pipeline para criar uma legenda para a imagem no índice 3.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Load the image-to-text pipeline
pipe = pipeline(task="____", model="____")

# Use the pipeline to generate a caption with the image of datapoint 3
pred = ____(dataset[3]["____"])

print(pred)
Editar e executar o código