इमेज इनपेंटिंग
आइए multi-modal इमेज जेनरेशन को image inpainting के साथ मिलाकर थोड़ा नया ट्विस्ट दें. आप Van Gogh के self-portrait में काली दाढ़ी जोड़ेंगे, इसके लिए StableDiffusionControlNetInpaintPipeline और एक image mask का उपयोग करें, जो आपके लिए पहले से बनाया गया है (mask_image):

नोट: diffusion मॉडलों पर inference में समय लग सकता है, इसलिए हमने आपके लिए जेनरेट की गई इमेज पहले से लोड कर दी है. अलग-अलग prompts चलाने पर नई इमेज जेनरेट नहीं होगी.
इमेज का original संस्करण init_image के रूप में लोड किया गया है, साथ ही एक control इमेज (control_image) भी, जिसे वीडियो में बताए गए make_inpaint_condition() फंक्शन से बनाया गया है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Hugging Face के साथ मल्टी-मोडल मॉडल्स
अभ्यास निर्देश
- ऐसी prompt के साथ पाइपलाइन चलाएँ जो black beard जेनरेट करने के लिए डिज़ाइन की गई हो,
num_inference_steps=40सेट करें, औरinit_image,mask_image, तथाcontrol_imageपास करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Run the pipeline requesting a black beard
output = pipe(
____,
num_inference_steps=____,
eta=1.0,
image=____,
mask_image=____,
control_image=____
)
plt.imshow(output.images[0])
plt.show()