Semantische maskers instellen

Een veelgebruikte manier om panoptische segmentatie uit te voeren, is door de outputs van semantische en instance-segmentatie te combineren. Bekijk de volgende afbeelding van een straat in New York.

street image

Jouw taak is om deze panoptisch te segmenteren, zodat elke taxi als een apart object wordt herkend, terwijl je ook onderscheid maakt tussen asfalt en gebouwen op de achtergrond.

Om dit te bereiken begin je met het maken van een semantisch masker met een voorgetrainde U-Net, beschikbaar als UNet(). Hopelijk maakt die onderscheid tussen de twee typen achtergrond (maar niet tussen afzonderlijke taxi’s)!

Deze oefening maakt deel uit van de cursus

Deep Learning voor afbeeldingen met PyTorch

Cursus bekijken

Oefeninstructies

Maak een instantie van het U-Net-model als model.
Genereer semantic_masks door de invoerafbeeldingstensor aan het model door te geven.
Maak één semantisch masker door voor elke pixel de klasse met de hoogste kans te kiezen.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Instantiate the model
model = ____

# Produce semantic masks for the input image
with torch.no_grad():
    semantic_masks = ____

# Choose highest-probability class for each pixel
semantic_mask = ____(____, ____)

# Display the mask
plt.imshow(semantic_mask.squeeze(0))
plt.axis("off")
plt.show()

Code bewerken en uitvoeren