Aan de slagGa gratis aan de slag

Image inpainting

Laten we een twist geven aan multi-modale beeldgeneratie door het te combineren met image inpainting. Je gaat het zelfportret van Van Gogh aanpassen zodat hij een zwarte baard heeft, met behulp van de StableDiffusionControlNetInpaintPipeline en een beeldmasker dat al voor je is gemaakt (mask_image):

Famous Van Gogh painting and mask

Let op: inferentie met diffusion-modellen kan lang duren, dus we hebben de gegenereerde afbeelding alvast voor je geladen. Het uitvoeren van andere prompts zal geen nieuwe afbeeldingen genereren.

De originele versie van de afbeelding is geladen als init_image, samen met een control-afbeelding (control_image) die is gemaakt met de functie make_inpaint_condition() uit de video.

Deze oefening maakt deel uit van de cursus

Multi-modale modellen met Hugging Face

Cursus bekijken

Oefeninstructies

  • Voer de pipeline uit met een prompt die een zwarte baard moet genereren, specificeer num_inference_steps=40, en geef init_image, mask_image en control_image mee.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
Code bewerken en uitvoeren