LoslegenKostenlos loslegen

Bildretusche

Lass uns mal die multimodale Bildgenerierung auf den Kopf stellen, indem wir sie mit Bildretusche kombinieren. Du wirst das Selbstporträt von Van Gogh so bearbeiten, dass er einen schwarzen Bart bekommt. Dazu benutzt du den „ StableDiffusionControlNetInpaintPipeline “ und eine Bildmaske, die ich für dich erstellt habe (mask_image):

Berühmtes Gemälde und Maske von Van Gogh

Hinweis: Die Schlussfolgerungen zu Diffusionsmodellen können eine Weile dauern, deshalb haben wir das erstellte Bild schon mal für dich geladen. Das Ausführen verschiedener Eingabeaufforderungen erzeugt keine neuen Bilder.

Die Originalversion des Bildes wurde als „ init_image “ hochgeladen, zusammen mit einem Kontrollbild (control_image), das mit der Funktion „ make_inpaint_condition() “ aus dem Video erstellt wurde.

Diese Übung ist Teil des Kurses

Multimodale Modelle mit Hugging Face

Kurs anzeigen

Anleitung zur Übung

  • Führ die Pipeline mit einem Befehl aus, der einen schwarzen Bart erzeugt, indem du „ num_inference_steps=40 “ angibst und die folgenden Parameter übergibst: „ init_image “, „ mask_image “ und „ control_image “.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
Code bearbeiten und ausführen