Évaluation automatique de la qualité d'une légende

Vous avez correctement classé l'image de la robe, mais à quel point la description originale était‑elle bonne?

Maa Fab wrap with a Trendy design dress with Vibrant color for an elegant touch of Fabric completely Soft and Comfortable wear with amazing design of Solid Boat ? Neck Flared Dress to make a perfect addition to your wardrobe collection.

Vous allez maintenant utiliser le modèle CLIP pour évaluer quantitativement l'exactitude de cette description à l'aide du CLIP score. La légende (description), l'image (image), la classe ToTensor et la fonction clip_score() de torchmetrics ont été chargées.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Instructions de l’exercice

Convertissez l'image en tenseur PyTorch avec des intensités allant de 0 à 255.
Utilisez la fonction clip_score() pour évaluer la qualité de la légende en comparant image_tensor et description avec le modèle openai/clip-vit-base-patch32.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Convert the image to a PyTorch tensor
image_tensor = ____()(image)*____

# Use the clip_score function to assess the quality of the caption
score = ____(____, ____, "____")

print(f"CLIP score: {score}")

Modifier et exécuter le code

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Parcourez le dépôt de modèles de Hugging Face et transformez du texte, de l'audio et des données visuelles bruts en formats prêts pour l'IA. Apprenez à trouver les modèles les plus récents et populaires pour des tâches comme la génération de texte et exploitez la puissance des pipelines prêts à l'emploi.

Exercise 1: Navigation dans les modèles Hugging Face Exercise 2: Combien de modèles!?Exercise 3: Trouver le modèle texte-vers-image le plus populaire Exercise 4: Prétraitement de différentes modalités Exercise 5: Tokenisation de texte Exercise 6: Prétraitement d'images Exercise 7: Prétraitement de l'audio Exercise 8: Tâches de pipeline et évaluations Exercise 9: Génération de légendes avec un pipeline Exercise 10: Passer des arguments nommés Exercise 11: Évaluation d'un modèle sur un jeu de données personnalisé

Apprenez à maîtriser chaque modalité avec des modèles à la fine pointe. Plongez dans la vision par ordinateur pour la classification et la segmentation d'images, explorez la reconnaissance de la parole et la synthèse texte‑parole, et découvrez des techniques de réglage fin efficaces. Développez des compétences pratiques avec des modèles préentraînés de la bibliothèque transformers de Hugging Face.

Exercise 1: Vision par ordinateur Exercise 2: Classification d'images Exercise 3: Détection d'objets Exercise 4: Retrait de l'arrière-plan d'une image Exercise 5: Ajustement fin des modèles de vision par ordinateur Exercise 6: Ajustement fin en CV : préparation du jeu de données Exercise 7: Ajustement fin en CV : classes de modèles Exercise 8: Ajustement fin en CV : configuration du trainer Exercise 9: Reconnaissance de la parole et génération audio Exercise 10: Reconnaissance automatique de la parole Exercise 11: Créer des intégrations vocales Exercise 12: Réduction du bruit audio Exercise 13: Ajuster avec précision des modèles de synthèse vocale Exercise 14: Ajuster finement un modèle de synthèse vocale (text-to-speech)Exercise 15: Générer une nouvelle parole

Apprenez à fusionner des informations visuelles, textuelles et audio pour des applications d'IA plus riches. Maîtrisez des techniques comme CLIP pour la classification zero‑shot, créez des analyseurs de sentiment qui voient et lisent, et concevez des détecteurs d'émotions combinant expressions faciales et voix. Amenez vos modèles d'IA au‑delà de la pensée monomodale.

Exercise 1: Classification d'images zéro-shot Exercise 2: Apprentissage zéro-shot avec CLIP Exercise 3: Évaluation automatique de la qualité d'une légende

Exercice en cours

Exercise 4: Analyse des sentiments multimodale Exercise 5: Créer des invites pour les modèles Vision-Langage (VLM)Exercise 6: Classification multimodale des sentiments avec Qwen Exercise 7: Classification vidéo zero-shot Exercise 8: Séparer l'audio de la vidéo Exercise 9: Analyse du sentiment vidéo avec CLIP CLAP

Transformez vos idées en réalité ! Maîtrisez des techniques d'IA de pointe pour générer et manipuler du contenu visuel à l'aide d'invites textuelles. Créez des images saisissantes, retouchez des photos intelligemment et bâtissez de puissants systèmes de questions‑réponses pour des images et des documents. Donnez vie à votre vision créative grâce à l'IA multimodale.

Exercise 1: Réponse aux questions visuelles (VQA)Exercise 2: VQA avec Vision Language Transformers (ViLT)Exercise 3: VQA de documents avec LayoutLM Exercise 4: Retouche d'images avec des modèles de diffusion Exercise 5: Retouche d'images personnalisée Exercise 6: Retouche par inpainting Exercise 7: Génération de vidéo Exercise 8: Créez une vidéo!Exercise 9: Évaluer la performance de la génération vidéo Exercise 10: Félicitations !