Aan de slagBegin gratis

Image inpainting

Laten we een twist geven aan multi-modale beeldgeneratie door het te combineren met image inpainting. Je gaat het zelfportret van Van Gogh aanpassen zodat hij een zwarte baard heeft, met behulp van de StableDiffusionControlNetInpaintPipeline en een beeldmasker dat al voor je is gemaakt (mask_image):

Famous Van Gogh painting and mask

Let op: inferentie met diffusion-modellen kan lang duren, dus we hebben de gegenereerde afbeelding alvast voor je geladen. Het uitvoeren van andere prompts zal geen nieuwe afbeeldingen genereren.

De originele versie van de afbeelding is geladen als init_image, samen met een control-afbeelding (control_image) die is gemaakt met de functie make_inpaint_condition() uit de video.

Deze oefening maakt deel uit van de cursus

Multi-modale modellen met Hugging Face

Bekijk cursus

Oefeninstructies

  • Voer de pipeline uit met een prompt die een zwarte baard moet genereren, specificeer num_inference_steps=40, en geef init_image, mask_image en control_image mee.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
Code bewerken en uitvoeren