Configurează măștile semantice

O metodă frecventă de segmentare panoptică constă în combinarea rezultatelor segmentării semantice și ale segmentării pe instanțe. Analizează imaginea de mai jos, care surprinde o stradă din New York.

street image

Sarcina ta este să o segmentezi panoptic, astfel încât fiecare taxi să fie identificat ca un obiect separat, diferențiind totodată fundalul format din asfalt și cel format din clădiri.

Vei începe prin a genera o mască semantică cu un U-Net pre-antrenat, disponibil ca UNet(). Acesta ar trebui să distingă între cele două tipuri de fundal (fără a diferenția taxiurile individuale)!

Acest exercițiu face parte din cursul

Deep Learning pentru imagini cu PyTorch

Vezi cursul

Instrucțiuni pentru exercițiu

Instanțiază modelul U-Net ca model.
Generează semantic_masks pasând tensorul imaginii de intrare în model.
Creează o mască semantică unică alegând clasa cu cea mai mare probabilitate pentru fiecare pixel.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Instantiate the model
model = ____

# Produce semantic masks for the input image
with torch.no_grad():
    semantic_masks = ____

# Choose highest-probability class for each pixel
semantic_mask = ____(____, ____)

# Display the mask
plt.imshow(semantic_mask.squeeze(0))
plt.axis("off")
plt.show()

Editează și rulează codul