Superposer les masques d'instances

Excellent travail pour avoir produit le masque sémantique à l'exercice précédent! Maintenant, vous allez le remplacer par des masques d'instances aux endroits où les objets ont été identifiés par le modèle de segmentation d'instances.

Vous utiliserez le MaskRCNN préentraîné disponible dans votre espace de travail pour produire des masques de segmentation d'instances. Ensuite, vous parcourrez ces masques et, pour chacun, vous superposerez sur le masque sémantique les parties où un objet est détecté avec un haut niveau de certitude.

torch est déjà importé pour vous.

Cette activité fait partie du cours

Deep Learning pour les images avec PyTorch

Voir le cours

Instructions de l’exercice

Initialisez panoptic_mask en clonant semantic_mask.
Définissez la boucle for pour itérer sur les masques d'instances, en appelant la variable d'itération mask.
Pour chaque masque d'instance, aux emplacements où il est supérieur à 0.5, remplacez le masque panoptique par instance_id en cours.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Instantiate model and produce instance masks
model = MaskRCNN()
with torch.no_grad():
    instance_masks = model(image_tensor)[0]["masks"]

# Initialize panoptic mask as semantic_mask
panoptic_mask = ____

# Iterate over instance masks
instance_id = 3
for ____ in ____:
    # Set panoptic mask to instance_id where mask > 0.5
    panoptic_mask[____] = ____
    instance_id += 1
    
# Display panoptic mask
plt.imshow(panoptic_mask.squeeze(0))
plt.axis("off")
plt.show()

Modifier et exécuter le code