CommencezCommencez gratuitement

Retouche par inpainting

Donnez une touche originale à la génération d'images multimodale en la combinant à l'inpainting. Vous allez modifier l'autoportrait de Van Gogh pour lui ajouter une barbe noire en utilisant StableDiffusionControlNetInpaintPipeline et un masque d'image, déjà fourni (mask_image) :

Famous Van Gogh painting and mask

Remarque : l'inférence avec les modèles de diffusion peut être longue; nous avons donc préchargé l'image générée pour vous. Exécuter des prompts différents ne produira pas de nouvelles images.

La version originale de l'image a été chargée dans init_image, ainsi qu'une image de contrôle (control_image) créée avec la fonction make_inpaint_condition() présentée dans la vidéo.

Cette activité fait partie du cours

Modèles multimodaux avec Hugging Face

Voir le cours

Instructions de l’exercice

  • Exécutez le pipeline avec un prompt conçu pour générer une barbe noire, en précisant num_inference_steps=40, et en passant init_image, mask_image et control_image.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
Modifier et exécuter le code