Image inpainting
Diamo una svolta alla generazione di immagini multi-modale combinandola con l'image inpainting. Modificherai l'autoritratto di Van Gogh per aggiungere una barba nera usando la StableDiffusionControlNetInpaintPipeline e una maschera dell'immagine, già creata per te (mask_image):
Nota: l'inferenza sui modelli di diffusione può richiedere molto tempo, quindi abbiamo precaricato l'immagine generata per te. Eseguire prompt diversi non genererà nuove immagini.
La versione originale dell'immagine è stata caricata come init_image, insieme a un'immagine di controllo (control_image) creata con la funzione make_inpaint_condition() del video.
Questo esercizio fa parte del corso
Modelli multi-modali con Hugging Face
Istruzioni dell'esercizio
- Esegui la pipeline con un prompt pensato per generare una barba nera, specificando
num_inference_steps=40e passandoinit_image,mask_imageecontrol_image.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Run the pipeline requesting a black beard
output = pipe(
____,
num_inference_steps=____,
eta=1.0,
image=____,
mask_image=____,
control_image=____
)
plt.imshow(output.images[0])
plt.show()