시작하기무료로 시작하기

이미지 인페인팅

이번에는 이미지 인페인팅(image inpainting)을 결합해 멀티모달 이미지 생성을 조금 색다르게 해 보겠습니다. StableDiffusionControlNetInpaintPipeline과 미리 만들어 둔 이미지 마스크(mask_image)를 사용해 고흐의 자화상에 검은색 턱수염을 추가해 보세요.

Famous Van Gogh painting and mask

참고: 확산 모델의 추론은 시간이 오래 걸릴 수 있어, 생성된 이미지를 미리 불러와 두었습니다. 다른 프롬프트를 실행해도 새로운 이미지를 생성하지 않습니다.

원본 이미지는 init_image로 로드되어 있으며, 영상에서 본 make_inpaint_condition() 함수로 만든 컨트롤 이미지(control_image)도 함께 제공됩니다.

이 연습은 강의의 일부입니다

Hugging Face로 배우는 멀티모달 모델

강의 보기

연습 안내

  • black beard를 생성하도록 프롬프트를 작성해 파이프라인을 실행하고, num_inference_steps=40을 지정한 뒤 init_image, mask_image, control_image를 전달하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Run the pipeline requesting a black beard
output = pipe(
    ____,
    num_inference_steps=____,
    eta=1.0,
    image=____,
    mask_image=____,
    control_image=____
)

plt.imshow(output.images[0])
plt.show()
코드 편집 및 실행