Menyiapkan masker semantik

Cara umum untuk melakukan segmentasi panoptik adalah dengan menggabungkan keluaran dari segmentasi semantik dan instance. Pertimbangkan gambar berikut dari sebuah jalan di New York.

street image

Tugas Anda adalah melakukan segmentasi panoptik, sehingga setiap taksi diidentifikasi sebagai objek terpisah, sambil membedakan antara latar belakang aspal dan gedung.

Untuk mencapainya, Anda akan mulai dengan menghasilkan masker semantik menggunakan U-Net yang telah dilatih sebelumnya, tersedia sebagai UNet(). Harapannya, model ini dapat membedakan dua jenis latar belakang tersebut (namun tidak membedakan setiap taksi secara individual)!

Latihan ini adalah bagian dari kursus

Deep Learning untuk Gambar dengan PyTorch

Lihat Kursus

Petunjuk latihan

Instansiasikan model U-Net sebagai model.
Hasilkan semantic_masks dengan meneruskan tensor citra masukan ke model.
Buat satu masker semantik dengan memilih kelas berprobabilitas tertinggi untuk setiap piksel.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Instantiate the model
model = ____

# Produce semantic masks for the input image
with torch.no_grad():
    semantic_masks = ____

# Choose highest-probability class for each pixel
semantic_mask = ____(____, ____)

# Display the mask
plt.imshow(semantic_mask.squeeze(0))
plt.axis("off")
plt.show()

Edit dan Jalankan Kode