Semantic 마스크 설정

panoptic segmentation을 수행하는 일반적인 방법은 semantic segmentation과 instance segmentation의 출력을 결합하는 것입니다. 다음 뉴욕 거리 사진을 살펴보세요.

street image

각 택시를 서로 다른 객체로 식별하면서, 도로 포장(asphalt)과 건물 배경을 구분하도록 panoptic하게 분할해 보세요.

이를 위해 먼저 사전 학습된 U-Net(UNet())으로 semantic 마스크를 생성하는 것부터 시작해요. 이 마스크는 두 가지 배경 유형을 구분할 수 있어야 하지만(개별 택시 간 구분은 하지 못해요), 그게 우리가 원하는 첫 단계예요!

U-Net 모델을 model로 인스턴스화하세요.
입력 이미지 텐서를 모델에 전달해 semantic_masks를 생성하세요.
각 픽셀에서 확률이 가장 높은 클래스를 선택해 단일 semantic 마스크를 만드세요.