Bắt đầu ngayBắt đầu miễn phí

Inpainting ảnh

Hãy làm mới bài toán sinh ảnh đa phương thức bằng cách kết hợp với image inpainting. Bạn sẽ chỉnh sửa bức chân dung tự họa của Van Gogh để có một bộ râu đen bằng StableDiffusionControlNetInpaintPipeline và một mặt nạ ảnh đã được chuẩn bị sẵn cho bạn (mask_image):

Famous Van Gogh painting and mask

Lưu ý: Suy luận với các mô hình diffusion có thể mất nhiều thời gian, vì vậy chúng tôi đã tải sẵn ảnh đã tạo cho bạn. Chạy các prompt khác nhau sẽ không tạo ảnh mới.

Bản gốc của ảnh đã được nạp vào init_image, cùng với một ảnh điều khiển (control_image) được tạo bằng hàm make_inpaint_condition() từ video.

Bài tập này là một phần của khóa học

Mô hình đa phương thức với Hugging Face

Xem khóa học

Hướng dẫn bài tập

  • Chạy pipeline với một prompt nhằm tạo bộ râu đen, chỉ định num_inference_steps=40, và truyền vào init_image, mask_image và control_image.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
Chỉnh sửa và Chạy Mã