Segmenter avec Mask R-CNN préentraîné

Dans cet exercice, vous allez utiliser le modèle Mask R-CNN préentraîné pour effectuer une segmentation d'instances sur l'image suivante de deux chats.

two cats image

Le modèle que vous allez utiliser a été préentraîné sur l'ensemble de données COCO, qui contient des images d'objets courants, y compris des animaux. Grâce à cela, le modèle devrait reconnaître les chats immédiatement, sans nécessiter d'ajustement fin.

Votre tâche consiste à charger le modèle et l'image des deux chats, à préparer l'image, puis à la transmettre au modèle pour obtenir les prédictions. Image de PIL, torch, transforms de torchvision et maskrcnn_resnet50_fpn ont été importés pour vous.

Cette activité fait partie du cours

Deep Learning pour les images avec PyTorch

Voir le cours

Instructions de l’exercice

Chargez le Mask R-CNN pretrained dans model à l'aide de maskrcnn_resnet50_fpn().
Transformez l'image des deux chats en tenseur et appliquez unsqueeze dessus.
Effectuez l'inférence en passant l'image au modèle et assignez la sortie à prediction.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Load a pre-trained Mask R-CNN model
model = ____(____)
model.eval()

# Load an image and convert to a tensor
image = Image.open("two_cats.jpg")
transform = transforms.Compose([transforms.ToTensor()])
image_tensor = transform(image).____

# Perform inference
with torch.no_grad():
    prediction = ____
    print(prediction)

Modifier et exécuter le code