CommencerCommencer gratuitement

Restauration d'images

Explorons la génération d'images multimodales en la combinant avec la restauration d'images. Vous allez modifier l'autoportrait de Van Gogh afin de lui donner une barbe noire à l'aide de l'outil « Masque d'StableDiffusionControlNetInpaintPipeline » et d'un masque d'image créé pour vous (mask_image) :

Célèbre tableau et masque de Van Gogh

Note : L'inférence sur les modèles de diffusion peut prendre un certain temps, c'est pourquoi nous avons préchargé l'image générée pour vous. L'exécution de différentes invites ne générera pas de nouvelles images.

La version originale de l'image a été chargée sous le nom init_image, accompagnée d'une image de contrôle (control_image) créée à l'aide de la fonction « make_inpaint_condition() » de la vidéo.

Cet exercice fait partie du cours

Modèles multimodaux avec Hugging Face

Afficher le cours

Instructions

  • Exécutez le pipeline avec une invite conçue pour générer une barbe noire, en spécifiant num_inference_steps=40 et en passant les paramètres init_image, mask_image et control_image.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
Modifier et exécuter le code