セマンティックマスクのセットアップ

パノプティックセグメンテーションを行う一般的な方法は、セマンティックセグメンテーションとインスタンスセグメンテーションの出力を組み合わせることです。次のニューヨークの通りの画像を考えてみましょう。

street image

あなたのタスクは、各タクシーを別々のオブジェクトとして識別しつつ、アスファルトと建物の背景を区別できるように、画像をパノプティックにセグメントすることです。

これを達成するために、まずは事前学習済みの U-Net（UNet() として利用可能）でセマンティックマスクを作成します。うまくいけば、2種類の背景（ただし特定のタクシー同士は区別しない）を見分けられるはずです！

U-Net モデルを model としてインスタンス化します。
入力画像テンソルをモデルに渡して、semantic_masks を生成します。
各ピクセルで最も確率の高いクラスを選び、単一のセマンティックマスクを作成します。