เริ่มต้นใช้งานเริ่มต้นใช้งานได้ฟรี

การระบายสีภาพใหม่ (Image Inpainting)

มาลองผสมการสร้างภาพแบบ multi-modal เข้ากับ image inpainting กัน โดยจะแก้ไขภาพเหมือนตนเองของ Van Gogh ให้มีเครารีบสีดำ โดยใช้ StableDiffusionControlNetInpaintPipeline ร่วมกับ image mask ที่เตรียมไว้ให้แล้ว (mask_image):

Famous Van Gogh painting and mask

หมายเหตุ: การ inference บน diffusion model อาจใช้เวลานาน จึงได้โหลดภาพที่สร้างไว้ล่วงหน้าให้แล้ว การรัน prompt ที่แตกต่างกันจะไม่สร้างภาพใหม่

ภาพต้นฉบับถูกโหลดเป็น init_image พร้อมกับ control image (control_image) ที่สร้างด้วยฟังก์ชัน make_inpaint_condition() จากวิดีโอ

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

โมเดล Multi-Modal ด้วย Hugging Face

ดูคอร์ส

คำแนะนำการฝึกหัด

  • รัน pipeline ด้วย prompt ที่ออกแบบมาเพื่อสร้าง เครารีบสีดำ โดยระบุ num_inference_steps=40 และส่งค่า init_image, mask_image, และ control_image

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
แก้ไขและรันโค้ด