开始使用免费开始使用

图像局部修复(Inpainting)

让我们把多模态图像生成和图像局部修复(inpainting)结合起来。您将使用 StableDiffusionControlNetInpaintPipeline 和一张已经为您准备好的图像掩码(mask_image),把梵高的自画像修改为留有黑色胡须:

Famous Van Gogh painting and mask

注意:扩散模型的推理可能较慢,因此我们已为您预先加载了生成的图像。即使运行不同的提示词,也不会生成新的图像。

原始图像已加载为 init_image,同时还提供了使用视频中的 make_inpaint_condition() 函数创建的控制图(control_image)。

本练习是课程的一部分

使用 Hugging Face 的多模态模型

查看课程

练习说明

  • 使用旨在生成"黑色胡须"的提示词运行管道,设置 num_inference_steps=40,并传入 init_imagemask_imagecontrol_image

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
编辑并运行代码