Segmentação com Mask R-CNN pré-treinado

Neste exercício, você vai usar o modelo Mask R-CNN pré-treinado para fazer a segmentação de instâncias na imagem de dois gatos abaixo.

imagem de dois gatos

O modelo que você vai usar já foi treinado no conjunto de dados COCO, que tem imagens de objetos comuns, incluindo animais. Graças a isso, o modelo deve ser capaz de reconhecer gatos logo de cara, sem precisar de ajustes.

A sua tarefa é carregar o modelo e as duas imagens de gatos, preparar a imagem e passar para o modelo para obter as previsões. Image de PIL, torch, transforms de torchvision e maskrcnn_resnet50_fpn foram importados para você.

Este exercício faz parte do curso

Aprendizado profundo para imagens com PyTorch

Ver curso

Instruções do exercício

Carregue o pretrained Mask R-CNN em model usando maskrcnn_resnet50_fpn().
Transforme a imagem dos dois gatos em um tensor e descompacte-o.
Faz a inferência passando a imagem pro modelo e coloca o resultado num prediction.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Load a pre-trained Mask R-CNN model
model = ____(____)
model.eval()

# Load an image and convert to a tensor
image = Image.open("two_cats.jpg")
transform = transforms.Compose([transforms.ToTensor()])
image_tensor = transform(image).____

# Perform inference
with torch.no_grad():
    prediction = ____
    print(prediction)

Editar e executar o código