Segmenter avec Mask R-CNN pré-entraîné

Dans cet exercice, vous allez utiliser le modèle Mask R-CNN pré-entraîné pour réaliser une segmentation d'instances sur l'image suivante de deux chats.

two cats image

Le modèle que vous utiliserez a été pré-entraîné sur le jeu de données COCO, qui contient des images d'objets courants, y compris des animaux. Grâce à cela, le modèle devrait reconnaître les chats directement, sans nécessiter d'affinage.

Votre tâche consiste à charger le modèle et l'image des deux chats, à préparer l'image, puis à la passer au modèle pour obtenir les prédictions. Image de PIL, torch, transforms de torchvision, et maskrcnn_resnet50_fpn ont été importés pour vous.

Cet exercice fait partie du cours

Deep Learning pour l’image avec PyTorch

Afficher le cours

Instructions

Chargez le Mask R-CNN pretrained dans model à l'aide de maskrcnn_resnet50_fpn().
Transformez l'image des deux chats en tenseur et appliquez unsqueeze.
Réalisez l'inférence en passant l'image au modèle et affectez la sortie à prediction.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load a pre-trained Mask R-CNN model
model = ____(____)
model.eval()

# Load an image and convert to a tensor
image = Image.open("two_cats.jpg")
transform = transforms.Compose([transforms.ToTensor()])
image_tensor = transform(image).____

# Perform inference
with torch.no_grad():
    prediction = ____
    print(prediction)

Modifier et exécuter le code