影像修補(Inpainting)
把多模態影像生成再升級一下,結合 影像修補(image inpainting)。你會使用 StableDiffusionControlNetInpaintPipeline 和已為你準備好的影像遮罩(mask_image),把梵谷的自畫像鬍子改成黑色:

注意:擴散模型的推論可能需要較長時間,因此我們已為你預先載入生成的影像。即使更換不同的提示,也不會生成新影像。
影像的原始版本已載入為 init_image,並搭配一張由影片中的 make_inpaint_condition() 函式建立的控制影像(control_image)。
本練習屬於課程
使用 Hugging Face 的多模態模型
練習說明
- 以能生成「黑色鬍子」的提示來執行管線,並指定
num_inference_steps=40,同時傳入init_image、mask_image,以及control_image。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Run the pipeline requesting a black beard
output = pipe(
____,
num_inference_steps=____,
eta=1.0,
image=____,
mask_image=____,
control_image=____
)
plt.imshow(output.images[0])
plt.show()