1. Nauka
    2. /
  2. Kursy
    3. /
  3. Modele multimodalne z Hugging Face
Connected

ćwiczenie

Niestandardowa edycja obrazów

Generowanie obrazów przez AI jest samo w sobie imponujące, ale niektóre modele obsługują też niestandardową edycję obrazów – multimodalny wariant generowania, który przyjmuje zarówno prompt tekstowy, jak i obraz źródłowy. Spróbuj przekształcić ten słynny autoportret Van Gogha w postać kreskówkową Snoopy'ego, używając StableDiffusionControlNetPipeline:

Famous Van Gogh painting

Uwaga: wnioskowanie na modelach dyfuzyjnych może trwać długo, dlatego wygenerowany obraz został wstępnie załadowany. Użycie innych promptów nie spowoduje wygenerowania nowych obrazów.

Wersja obrazu przetworzona filtrem Canny'ego została już utworzona (canny_image). Klasy StableDiffusionControlNetPipeline i ControlNetModel zostały zaimportowane z biblioteki diffusers. Lista generatorów (generator) została przygotowana.

Instrukcje

100 XP
  • Wczytaj ControlNetModel z checkpointu lllyasviel/sd-controlnet-canny.
  • Wczytaj StableDiffusionControlNetPipeline z checkpointu runwayml/stable-diffusion-v1-5, przekazując dostarczony controlnet.
  • Uruchom pipeline, używając prompt, canny_image oraz dostarczonych negative_prompt i generator.