Skapa semantiska masker
Ett vanligt sätt att utföra panoptisk segmentering är att kombinera resultaten från semantisk och instanssegmentering. Ta en titt på följande bild av en gata i New York.
Din uppgift är att segmentera den panoptiskt, så att varje taxi identifieras som ett separat objekt, samtidigt som asfalt och byggnader i bakgrunden särskiljs.
Du börjar med att skapa en semantisk mask med ett förtränat U-Net, tillgängligt som UNet(). Det ska förhoppningsvis kunna skilja på de två bakgrundstyperna – men inte på enskilda taxibilar!
Den här övningen är en del av kursen
Djupinlärning för bilder med PyTorch
Övningsinstruktioner
- Instansiera U-Net-modellen som
model. - Generera
semantic_masksgenom att skicka indatabild-tensorn till modellen. - Skapa en enskild semantisk mask genom att välja klassen med högst sannolikhet för varje pixel.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Instantiate the model
model = ____
# Produce semantic masks for the input image
with torch.no_grad():
semantic_masks = ____
# Choose highest-probability class for each pixel
semantic_mask = ____(____, ____)
# Display the mask
plt.imshow(semantic_mask.squeeze(0))
plt.axis("off")
plt.show()