Retouche d'images personnalisée

La génération d'images par IA est déjà impressionnante, mais certains modèles prennent aussi en charge la retouche d'images personnalisée, une variante multimodale de la génération qui utilise à la fois une invite textuelle et une image source. Essayez de modifier ce célèbre autoportrait de Van Gogh pour qu'il représente le personnage de bande dessinée Snoopy en utilisant StableDiffusionControlNetPipeline :

Famous Van Gogh painting

Remarque : L'inférence avec les modèles de diffusion peut être longue, donc nous avons préchargé l'image générée pour vous. L'exécution d'invites différentes ne générera pas de nouvelles images.

La version de l'image filtrée avec Canny a été créée pour vous (canny_image). Les classes StableDiffusionControlNetPipeline et ControlNetModel ont été importées de la bibliothèque diffusers. La liste du générateur (generator) a été créée.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Instructions de l’exercice

Chargez ControlNetModel à partir du point de contrôle lllyasviel/sd-controlnet-canny.
Chargez StableDiffusionControlNetPipeline à partir du point de contrôle runwayml/stable-diffusion-v1-5, en passant le controlnet fourni.
Exécutez le pipeline en utilisant le prompt, canny_image, ainsi que les negative_prompt et generator fournis.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

## NOTE: no imports are required for this exercise
# Load a ControlNetModel from the pretrained checkpoint
controlnet = ____("____", torch_dtype=torch.float16)

# Load a pretrained StableDiffusionControlNetPipeline using the ControlNetModel
pipe = ____(
    "____", controlnet=____, torch_dtype=torch.float16
)
pipe = pipe.to("cuda")

prompt = ["Snoopy, best quality, extremely detailed"]

# Run the pipeline
output = pipe(
    ____,
    ____,
    negative_prompt=["monochrome, lowres, bad anatomy, worst quality, low quality"],
    generator=____,
    num_inference_steps=20,
)

plt.imshow(output.images[0])
plt.show()

Modifier et exécuter le code

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

SkillTag.level.intermediateSkillTag.label

4.8+

Commencer le cours gratuitement

Parcourez le dépôt de modèles de Hugging Face et transformez du texte, de l'audio et des données visuelles bruts en formats prêts pour l'IA. Apprenez à trouver les modèles les plus récents et populaires pour des tâches comme la génération de texte et exploitez la puissance des pipelines prêts à l'emploi.

Exercise 1: Navigation dans les modèles Hugging Face Exercise 2: Combien de modèles!?Exercise 3: Trouver le modèle texte-vers-image le plus populaire Exercise 4: Prétraitement de différentes modalités Exercise 5: Tokenisation de texte Exercise 6: Prétraitement d'images Exercise 7: Prétraitement de l'audio Exercise 8: Tâches de pipeline et évaluations Exercise 9: Génération de légendes avec un pipeline Exercise 10: Passer des arguments nommés Exercise 11: Évaluation d'un modèle sur un jeu de données personnalisé

Apprenez à maîtriser chaque modalité avec des modèles à la fine pointe. Plongez dans la vision par ordinateur pour la classification et la segmentation d'images, explorez la reconnaissance de la parole et la synthèse texte‑parole, et découvrez des techniques de réglage fin efficaces. Développez des compétences pratiques avec des modèles préentraînés de la bibliothèque transformers de Hugging Face.

Exercise 1: Vision par ordinateur Exercise 2: Classification d'images Exercise 3: Détection d'objets Exercise 4: Retrait de l'arrière-plan d'une image Exercise 5: Ajustement fin des modèles de vision par ordinateur Exercise 6: Ajustement fin en CV : préparation du jeu de données Exercise 7: Ajustement fin en CV : classes de modèles Exercise 8: Ajustement fin en CV : configuration du trainer Exercise 9: Reconnaissance de la parole et génération audio Exercise 10: Reconnaissance automatique de la parole Exercise 11: Créer des intégrations vocales Exercise 12: Réduction du bruit audio Exercise 13: Ajuster avec précision des modèles de synthèse vocale Exercise 14: Ajuster finement un modèle de synthèse vocale (text-to-speech)Exercise 15: Générer une nouvelle parole

Apprenez à fusionner des informations visuelles, textuelles et audio pour des applications d'IA plus riches. Maîtrisez des techniques comme CLIP pour la classification zero‑shot, créez des analyseurs de sentiment qui voient et lisent, et concevez des détecteurs d'émotions combinant expressions faciales et voix. Amenez vos modèles d'IA au‑delà de la pensée monomodale.

Exercise 1: Classification d'images zéro-shot Exercise 2: Apprentissage zéro-shot avec CLIP Exercise 3: Évaluation automatique de la qualité d'une légende Exercise 4: Analyse des sentiments multimodale Exercise 5: Créer des invites pour les modèles Vision-Langage (VLM)Exercise 6: Classification multimodale des sentiments avec Qwen Exercise 7: Classification vidéo zero-shot Exercise 8: Séparer l'audio de la vidéo Exercise 9: Analyse du sentiment vidéo avec CLIP CLAP

Transformez vos idées en réalité ! Maîtrisez des techniques d'IA de pointe pour générer et manipuler du contenu visuel à l'aide d'invites textuelles. Créez des images saisissantes, retouchez des photos intelligemment et bâtissez de puissants systèmes de questions‑réponses pour des images et des documents. Donnez vie à votre vision créative grâce à l'IA multimodale.

Exercise 1: Réponse aux questions visuelles (VQA)Exercise 2: VQA avec Vision Language Transformers (ViLT)Exercise 3: VQA de documents avec LayoutLM Exercise 4: Retouche d'images avec des modèles de diffusion Exercise 5: Retouche d'images personnalisée

Exercice en cours

Exercise 6: Retouche par inpainting Exercise 7: Génération de vidéo Exercise 8: Créez une vidéo!Exercise 9: Évaluer la performance de la génération vidéo Exercise 10: Félicitations !