Semantische Masken einrichten
Eine gängige Methode zur Durchführung einer panoptischen Segmentierung ist die Kombination der Ergebnisse der semantischen und der Instanzsegmentierung. Schau dir mal das Bild von einer Straße in New York an.
Deine Aufgabe ist es, das Bild so zu segmentieren, dass jedes Taxi als separates Objekt erkannt wird und gleichzeitig zwischen dem Asphalt und den Gebäuden im Hintergrund unterschieden werden kann.
Um das zu schaffen, machst du zuerst eine semantische Maske mit einem vorab trainierten U-Net, das du unter UNet() findest. Hoffentlich sollte es zwischen den beiden Hintergrundtypen unterscheiden (aber nicht zwischen bestimmten Taxis)!
Diese Übung ist Teil des Kurses
Deep Learning für Bilder mit PyTorch
Anleitung zur Übung
- Instanziere das U-Net-Modell als „
model“. - Generier „
semantic_masks“, indem du den Eingabebild-Tensor an das Modell weitergibst. - Erstell eine einzelne semantische Maske, indem du für jedes Pixel die Klasse mit der höchsten Wahrscheinlichkeit auswählst.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Instantiate the model
model = ____
# Produce semantic masks for the input image
with torch.no_grad():
semantic_masks = ____
# Choose highest-probability class for each pixel
semantic_mask = ____(____, ____)
# Display the mask
plt.imshow(semantic_mask.squeeze(0))
plt.axis("off")
plt.show()