1. Learn
    2. /
  2. Courses
    3. /
  3. Hugging Face で学ぶマルチモーダルモデル
Connected

Exercise

カスタム画像編集

AI による画像生成はそれだけでも魅力的ですが、モデルによってはカスタム画像編集にも対応しています。これは、テキストプロンプトと元画像の両方を入力に取る、マルチモーダルな画像生成の一種です。StableDiffusionControlNetPipeline を使って、有名なゴッホの自画像を漫画キャラクターの Snoopy に変えてみましょう。

Famous Van Gogh painting

注意: 拡散モデルでの推論は時間がかかるため、生成済み画像をあらかじめ読み込んであります。異なるプロンプトを実行しても新しい画像は生成されません。

Canny フィルター版の画像（canny_image）は用意済みです。StableDiffusionControlNetPipeline と ControlNetModel クラスは diffusers ライブラリからインポートされています。ジェネレーターのリスト（generator）も作成済みです。

Instructions

100 XP
  • lllyasviel/sd-controlnet-canny チェックポイントから ControlNetModel を読み込みます。
  • 提供された controlnet を渡して、runwayml/stable-diffusion-v1-5 チェックポイントから StableDiffusionControlNetPipeline を読み込みます。
  • 用意された prompt、canny_image、negative_prompt、generator を使ってパイプラインを実行します。