1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Mô hình đa phương thức với Hugging Face
Connected

Bài tập

Chỉnh sửa ảnh tùy biến

Tạo ảnh bằng AI đã rất ấn tượng, nhưng một số mô hình còn hỗ trợ chỉnh sửa ảnh tùy biến — một biến thể đa phương thức của tạo ảnh, nhận cả prompt văn bản và ảnh nguồn. Hãy thử biến đổi bức chân dung tự họa nổi tiếng của Van Gogh thành nhân vật hoạt hình Snoopy bằng StableDiffusionControlNetPipeline:

Famous Van Gogh painting

Lưu ý: Suy luận với các mô hình diffusion có thể mất nhiều thời gian, nên chúng tôi đã tải sẵn ảnh đã tạo cho bạn. Chạy các prompt khác nhau sẽ không tạo ảnh mới.

Phiên bản ảnh đã qua bộ lọc Canny đã được tạo sẵn (canny_image). Các lớp StableDiffusionControlNetPipeline và ControlNetModel đã được import từ thư viện diffusers. Danh sách bộ sinh (generator) đã được tạo.

Hướng dẫn

100 XP
  • Tải ControlNetModel từ checkpoint lllyasviel/sd-controlnet-canny.
  • Tải StableDiffusionControlNetPipeline từ checkpoint runwayml/stable-diffusion-v1-5, truyền vào controlnet đã cung cấp.
  • Chạy pipeline với prompt, canny_image, cùng negative_prompt và generator đã cho.