開始使用免費開始

影像修補(Inpainting)

把多模態影像生成再升級一下,結合 影像修補(image inpainting)。你會使用 StableDiffusionControlNetInpaintPipeline 和已為你準備好的影像遮罩(mask_image),把梵谷的自畫像鬍子改成黑色:

Famous Van Gogh painting and mask

注意:擴散模型的推論可能需要較長時間,因此我們已為你預先載入生成的影像。即使更換不同的提示,也不會生成新影像。

影像的原始版本已載入為 init_image,並搭配一張由影片中的 make_inpaint_condition() 函式建立的控制影像(control_image)。

本練習屬於課程

使用 Hugging Face 的多模態模型

檢視課程

練習說明

  • 以能生成「黑色鬍子」的提示來執行管線,並指定 num_inference_steps=40,同時傳入 init_imagemask_image,以及 control_image

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
編輯並執行程式碼