Créer une invite avec des images à partir d'URL

Vous créez un système automatisé de catalogage de produits pour un marché en ligne. Le système doit analyser les images de produits et générer des descriptions exactes pour le catalogue. Vous utiliserez des messages avec rôles pour envoyer une URL d'image au modèle et demander à la fois une classification et une description.

Une chaîne d'URL pointant vers la photo d'un manteau d'hiver a été enregistrée dans image_url, et la fonction visualize_image() a été définie pour vous permettre de comparer l'image avec la description générée.

Cette activité fait partie du cours

Utiliser l'API Responses d'OpenAI

Instructions de l’exercice

Ajoutez un message utilisateur contenant à la fois une invite texte demandant de classifier et de décrire le produit, et l'URL de l'image (image_url) en utilisant les types de contenu appropriés.
Créez la requête vers le modèle "gpt-5.4-mini" en utilisant votre liste messages et extrayez le texte de sortie.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

messages = [{"role": "system", "content": "You are a product cataloging expert who provides concise classifications and descriptions."}]

# Add user message with text and image
messages.append({
    "role": "____",
    "content": [
        {"type": "____", "____": "Classify this product and write a brief but punchy description for our catalog."},
        {"type": "____", "image_url": "____"}
    ]
})

# Create the response
response = ____

print(response.output_text)
visualize_image(image_url)

Modifier et exécuter le code

Cette activité fait partie du cours

Utiliser l'API Responses d'OpenAI

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Créer des applications d'IA n'a jamais été aussi simple avec l'API Responses ! Apprenez à formuler des invites pour les modèles à l'aide d'une interface simple, les pratiques exemplaires pour travailler avec des modèles de raisonnement, et comment bâtir des conversations bidirectionnelles avec des LLM.

Exercise 1: L'API Responses : la meilleure alliée des développeurs Exercise 2: Votre première requête à la Responses API Exercise 3: Ajouter des instructions au modèle Exercise 4: Extraction d'information à partir de la réponse Exercise 5: Maîtriser les paramètres de réponse Exercise 6: Expérimenter avec des modèles plus puissants Exercise 7: Raisonner sur le raisonnement Exercise 8: Enchaînement de conversations Exercise 9: D'un message à l'autre Exercise 10: Activer les conversations par clavardage

Les LLM sont puissants, mais ils le deviennent encore plus lorsqu'on y intègre des outils ! Apprenez à ajouter la recherche Web à vos systèmes LLM sans clés d'API ni justificatifs supplémentaires. Découvrez que les outils peuvent être… pratiquement tout ! Créez vos propres outils que les LLM pourront appeler pour dépasser les capacités de base du modèle.

Exercise 1: Éléments de réponse : les blocs de base Exercise 2: Extraire les éléments de sortie et leur contenu Exercise 3: Utiliser les items pour un traitement personnalisé Exercise 4: Recherche Web qui fonctionne tout simplement Exercise 5: Combiner les LLM et la recherche Web Exercise 6: Gagner en confiance grâce aux sources des LLM Exercise 7: Outils d'appel de fonctions : définir la fonction Exercise 8: Flux de travail d'un outil à appel de fonction Exercise 9: Définir une fonction pour convertir des fuseaux horaires Exercise 10: Outils d'appel de fonctions : le déroulement complet Exercise 11: Créer la définition d'outil OpenAI Exercise 12: Intégrer des outils d'appel de fonctions

Faites passer vos systèmes LLM de la preuve de concept à la production grâce à trois paradigmes de conception essentiels. Apprenez à générer des sorties structurées cohérentes et fiables, comme du JSON, avec des LLM. Vous utiliserez aussi des événements sémantiques pour diffuser des mises à jour à vos utilisateurs, créant des expériences interactives et agréables. Enfin, adoptez la multimodalité et apprenez à combiner texte et images avec les modèles GPT-5 d'OpenAI.

Exercise 1: Générer des sorties structurées Exercise 2: Des sorties cohérentes, à tout coup !Exercise 3: Imbriquer des classes Pydantic Exercise 4: Diffusion en continu avec des événements sémantiques Exercise 5: Diffuser les réponses d'OpenAI Exercise 6: Diffuser des événements sémantiques Exercise 7: Diffusion en continu avec des appels de fonction Exercise 8: Souplesse des entrées et multimodalité Exercise 9: Entrées fondées sur les rôles Exercise 10: Créer une invite avec des images à partir d'URL

Exercice en cours

Exercise 11: Créer une invite avec des fichiers image locaux Exercise 12: Félicitations !