图像局部修复(Inpainting)
让我们把多模态图像生成和图像局部修复(inpainting)结合起来。您将使用 StableDiffusionControlNetInpaintPipeline 和一张已经为您准备好的图像掩码(mask_image),把梵高的自画像修改为留有黑色胡须:

注意:扩散模型的推理可能较慢,因此我们已为您预先加载了生成的图像。即使运行不同的提示词,也不会生成新的图像。
原始图像已加载为 init_image,同时还提供了使用视频中的 make_inpaint_condition() 函数创建的控制图(control_image)。
本练习是课程的一部分
使用 Hugging Face 的多模态模型
练习说明
- 使用旨在生成"黑色胡须"的提示词运行管道,设置
num_inference_steps=40,并传入init_image、mask_image和control_image。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Run the pipeline requesting a black beard
output = pipe(
____,
num_inference_steps=____,
eta=1.0,
image=____,
mask_image=____,
control_image=____
)
plt.imshow(output.images[0])
plt.show()