1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Multi-Modal Models with Hugging Face
Connected

cvičení

Vlastní úprava obrázků

Generování obrázků pomocí AI je samo o sobě skvělé, ale některé modely podporují i vlastní úpravu obrázků – multimodální variantu generování, která jako vstup přijímá textový prompt i zdrojový obrázek. Zkus upravit tento slavný autoportrét Van Gogha tak, aby zobrazoval kreslenou postavičku Snoopyho, a to pomocí StableDiffusionControlNetPipeline:

Famous Van Gogh painting

Poznámka: Inference na difuzních modelech může trvat dlouho, proto jsme pro tebe vygenerovaný obrázek předem načetli. Spuštění jiných promptů nové obrázky nevygeneruje.

Verze obrázku zpracovaná Canny filtrem je již připravena (canny_image). Třídy StableDiffusionControlNetPipeline a ControlNetModel jsou naimportovány z knihovny diffusers. Seznam generátorů (generator) je také připraven.

Pokyny

100 XP
  • Načti ControlNetModel z checkpointu lllyasviel/sd-controlnet-canny.
  • Načti StableDiffusionControlNetPipeline z checkpointu runwayml/stable-diffusion-v1-5 a předej mu připravený controlnet.
  • Spusť pipeline s použitím prompt, canny_image a připravených parametrů negative_prompt a generator.