Підготовка семантичних масок

Поширений підхід до паноптичної сегментації — об'єднати результати семантичної та інстанс-сегментації. Розгляньте зображення вулиці Нью-Йорка нижче.

street image

Ваше завдання — виконати паноптичну сегментацію так, щоб кожне таксі було визначене як окремий об'єкт, а також щоб відрізнити асфальт від фону будівель.

Щоб це зробити, ви почнете зі створення семантичної маски за допомогою попередньо натренованої U-Net, доступної як UNet(). Ймовірно, вона зуміє розрізнити два типи фону (але не окремі таксі)!

Ця вправа є частиною курсу

Глибоке навчання для зображень із PyTorch

Переглянути курс

Інструкції до вправи

Створіть екземпляр моделі U-Net як model.
Згенеруйте semantic_masks, передавши тензор вхідного зображення в модель.
Створіть одну семантичну маску, обравши для кожного пікселя клас із найвищою ймовірністю.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Instantiate the model
model = ____

# Produce semantic masks for the input image
with torch.no_grad():
    semantic_masks = ____

# Choose highest-probability class for each pixel
semantic_mask = ____(____, ____)

# Display the mask
plt.imshow(semantic_mask.squeeze(0))
plt.axis("off")
plt.show()

Редагувати та запускати код