कस्टम इमेज एडिटिंग
AI इमेज जनरेशन पहले से ही काफ़ी शानदार है, लेकिन कुछ मॉडल कस्टम इमेज एडिटिंग भी सपोर्ट करते हैं — यह इमेज जनरेशन का एक मल्टी-मोडल वेरिएंट है जो टेक्स्ट प्रॉम्प्ट और सोर्स इमेज, दोनों इनपुट लेता है. StableDiffusionControlNetPipeline का उपयोग करके वैन गॉग के इस मशहूर सेल्फ-पोर्ट्रेट को कार्टून कैरेक्टर Snoopy में बदलने की कोशिश कीजिए:
नोट: डिफ्यूज़न मॉडल्स पर इन्फरेंस में समय लग सकता है, इसलिए हमने आपके लिए जेनरेटेड इमेज पहले से लोड कर दी है. अलग-अलग प्रॉम्प्ट चलाने पर नई इमेज जनरेट नहीं होंगी.
इस इमेज का Canny फ़िल्टर संस्करण (canny_image) आपके लिए बना दिया गया है. diffusers लाइब्रेरी से StableDiffusionControlNetPipeline और ControlNetModel क्लासेज़ इम्पोर्ट कर ली गई हैं. जनरेटर लिस्ट (generator) बना दी गई है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
Hugging Face के साथ मल्टी-मोडल मॉडल्स
अभ्यास निर्देश
lllyasviel/sd-controlnet-cannyचेकपॉइंट सेControlNetModelलोड करें.runwayml/stable-diffusion-v1-5चेकपॉइंट सेStableDiffusionControlNetPipelineलोड करें, और दिए गएcontrolnetको पास करें.- दिए गए
prompt,canny_image, तथाnegative_promptऔरgeneratorका उपयोग करके पाइपलाइन चलाएँ.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
## NOTE: no imports are required for this exercise
# Load a ControlNetModel from the pretrained checkpoint
controlnet = ____("____", torch_dtype=torch.float16)
# Load a pretrained StableDiffusionControlNetPipeline using the ControlNetModel
pipe = ____(
"____", controlnet=____, torch_dtype=torch.float16
)
pipe = pipe.to("cuda")
prompt = ["Snoopy, best quality, extremely detailed"]
# Run the pipeline
output = pipe(
____,
____,
negative_prompt=["monochrome, lowres, bad anatomy, worst quality, low quality"],
generator=____,
num_inference_steps=20,
)
plt.imshow(output.images[0])
plt.show()